Il Castello Carrarese è il più importante patrimonio storico, artistico e militare di Padova. I Carraresi dipinsero anche le torri a scacchi bianchi e rossi, proprio come fece Giusto de Menabuoi nel 1382 nella veduta di Padova, affrescata alla Basilica di Sant'Antonio. I restauri degli ultimi dieci anni nelle sale dell'osservatorio hanno rivelato tracce di rosso vivo, bianco e altre zone nascoste della Specola, che era costruita su quel castello. Il castello era collegato dal traghetto alle sue mura alla Reggia Carrarese, che era un passaggio sopraelevato che collegava i centri del potere politico, militare e finanziario. Intorno al 1810, fu scoperto un pozzo nel grande cortile che fu convertito in prigione all'inizio del XIX secolo. Il pozzo era costruito con pietre, una delle quali portava la data del 12 giugno 1374 e il nome di Francesco VII dei Carrara (principe di Padova), che fu il costruttore dell'edificio. Nel 1990, una seconda firma è stata scoperta dall'illustre principe Francesco VII dei Carrara, principe di Padova, sotto l'intonaco settecentesco. I resti del castello furono utilizzati per diversi scopi (osservatorio astronomico e prigione). Il castello fu usato come prigione fino alla seconda guerra mondiale. Alcuni uffici dell'Amministrazione penitenziaria padovana si trovano ancora in Piazza Castello. La trasformazione della Specola aveva richiesto a Cerato di ricostruire quelle che nei suoi disegni chiamava "fabbriche di scogli". Tuttavia, il vecchio percorso e le colonne che sostengono la loggia sono stati conservati.