Fu costruita nel 1706 ed è conosciuta come la "chiesetta delle prigioni", perché si trovava di fronte al Palazzo del Governo, che permetteva ai prigionieri di seguire le funzioni religiose dalle loro celle. Le prigioni erano in realtà situate al piano terra.

Una chiesetta piccola ma carina, non sempre è visitabile. Loratorio di San Carlo Borromeo fu costruito nel 1706 per volere di Carlo Vieri. Inizialmente si chiamava delle Carceri perché costruito vicino alle prigioni.Allepoca aveva anche il uso campanile andato distrutto nel terremoto del 1920. La facciata è ad intonaco, il portale in stile barocco in macigno terminante in due volute che formano un’apertura ovoidale sormontata da una finestra. All’interno, l’altare regge una pala ovale attribuita a Ottavio Dandini che raffigura la SS. Annunziata tra Carlo Borromeo e Sant’Antonio da Padova.Nell’oratorio riposano le spoglie di Giovanni Fantoni 1755-1807 poeta fivizzanese noto con il nome di Labindo. Una particolarità la porticina in legno sotto laltare!