C'è un cortile interno a pianta rettangolare. Il giardino e l'area delle vecchie case del nobile Giuseppe Ignazio Amorosini-Brigazza si trovano sulla strada principale della città. Il luogo d'incontro dell'alta aristocrazia napoletana era il palazzo. Il barone de Gemmis fu il fondatore della famiglia e il governatore del feudo del principe Grimaldi. La biblioteca di famiglia fu arricchita dagli affreschi che furono commissionati dal filosofo illuminista Ferrante de Gemmis Maddalena. La chiesa di Santa Maria La Nova, che fu costruita come un pantheon del Palazzo, può essere vista dall'elegante facciata. Il portale è decorato con un balcone in pietra ed è sormontato dallo stemma dei Baroni di Castel Foce. Il palazzo è ancora di proprietà della famiglia de Gemmis.