Si trova accanto al teatro comunale Fenaroli ed è il risultato della ricostruzione del precedente edificio delle carceri e del convento delle Scuole Pie. La Casa di Conversazione, adibita ad uso culturale e ricreativo, fu ospitata dal corpo aggettante della facciata nella seconda metà del XIX secolo. A causa dei danni di guerra nel 1944, la facciata del palazzo è un rifacimento di stile antico.