Fu opera di Andrea Palladio (architetto vicentino), e doveva essere la nuova casa della famiglia Porto. Fu completato con una sola sezione, nonostante gli studi sul palazzo indicassero che avrebbero dovuto essercene sette. È comunque un manufatto di Palladio che fu completato da Vincenzo Scamozzi.

È un palazzo che Palladio aveva immaginato per la famiglia Porto. Tuttavia, la sua realizzazione non è mai avvenuta. Ci sono solo due campate che sono state costruite, forse a causa di problemi economici.

Non è chiaro quale sia la ragione del blocco del cortile. A sinistra del frammento è visibile la vecchia casa della famiglia Porto, che doveva essere demolita per far posto al nuovo palazzo. La posizione del palazzo stesso, sul retro della piazza, rese necessaria la creazione di una monumentalità accentuata, capace di dominare il grande spazio aperto antistante. Nel corso del tempo, gli interni sono stati alterati. L'esito infelice di un cantiere palladiano è visibile nell'imponente sezione del palazzo che fa da sfondo scenografico alla piazza del Castello. Un'analisi delle murature superstiti mostra che il palazzo avrebbe dovuto svilupparsi in sette campate e avere un cortile con un'esedra. L'architettura palladiana della città è stata inserita nella lista del patrimonio mondiale dell'umanità dall'UNESCO nel 1994.

È impossibile non notare la monumentalità dell'opera di Palladio in Piazza del Castello. Fu costruita nel XVI secolo.