Durante il XIX secolo ci sono state diverse modifiche interne ed esterne, come l'apertura di nuove finestre, l'installazione di un balcone d'angolo e il restauro del portale rinascimentale. Al centro di Rossetti, il luogo più importante dell'Addizione Erculea, si trova uno dei più grandi e magnifici edifici di Ferrara Este. Fausto Prosperi staccò e vendette due medaglioni di bronzo che facevano parte della decorazione della porta, nonostante il divieto di esportazione del Ministero della Pubblica Istruzione e la rimozione del portale. Dal 1690 alla prima metà del XIX secolo, il palazzo fu di proprietà della famiglia Prosperi, ma nel 1934 fu acquistato dallo Stato. L'edificio fu colpito da un bombardamento nel 1944, che causò alcuni danni al portale, che fu restaurato nel 1946. Le finestre non finite del piano nobile e le facciate esterne furono lasciate a causa dell'interruzione dei lavori relativi alle parti decorative dell'edificio. Dopo aver trovato un altro posto per le famiglie dei soldati che vivevano nelle stanze nobili, il Demanio scambiò l'edificio con un altro. Fu costruito a partire dal 1493 per il medico ducale Francesco da Castello, che fu il primo ad iniziare i lavori nel famoso incrocio, quasi contemporaneamente a Bonifacio Bevilacqua. Quest'ultimo elemento, universalmente definito di rara bellezza, ha reso il palazzo famoso non solo per la posizione urbana in cui è inserito, che qualifica il crocevia rossettiano in senso dinamico, ma anche per la raffinata composizione architettonica. Peccato non poterlo visitare. Bruno Zevi accreditò all'architetto di corte Biagio Rossetti la fase cinquecentesca dell'opera, supportata da un atto del 1512 che lo stesso Zevi cita nel suo monumentale volume sul grande architetto ferrarese del 1960. Il portale fu oggetto di un'aspra controversia tra la famiglia Prosperi e lo Stato nella seconda metà del XIX secolo. La scala ellissoidale che conduce al piano nobile è il primo cambiamento del complesso architettonico.

Si trova vicino al Palazzo dei Diamanti. Si distingue per il suo pilastro d'angolo e il portale monumentale con un balcone di marmo bianco. Bisogna accontentarsi dell'esterno perché non può essere visitato.