Si trova nel cuore della piazza più bella d'Italia, proprio di fronte alla cattedrale. Fu probabilmente costruito dal vescovo Cadalo nel Medioevo. In seguito divenne antipapa. L'edificio fu modificato più volte e poi restaurato all'inizio del XX secolo.

Il palazzo vescovile risale ai secoli XI -XII. È stato modificato molte volte nel corso dei secoli, ma il più recente risale all'inizio del XX secolo. Si trova proprio di fronte alla cattedrale. È la sede della diocesi e dei musei diocesani.

Il palazzo è attualmente sede degli uffici diocesani e della residenza del vescovo. Ha visto molti cambiamenti stilistici e strutturali nel corso della sua storia, a partire dalla torre medievale, che è la parte più antica.