Il Palazzo era una volta un monastero di Carmelitani. Era un orfanotrofio che ospitava le ragazze orfane e i poveri. Fu istituito nel 1729 per volontà di Agnese Riberia Castiglia. Oggi è utilizzato per opere sociali.

Tra i benefattori della città c'è una nobildonna spagnola del XVII secolo, Donna Agnese De Riberia Castiglia. Era la figlia del primo castellano spagnolo. A lei dobbiamo la fondazione di alcune pie istituzioni come l'orfanotrofio da lei fondato nel 1629, un "Pio luogo a dodici orfanelle di Vigevano". Questo portico fu costruito nel suo palazzo e ospita il convento dei Santi Teresa e Giuseppe, che allora ospitava l'orfanotrofio. Il muro che collega il portico al lato sud si trova in fondo. È interrotto solo da un secondo accesso con una torre, che potrebbe essere stata l'abside della chiesa scomparsa. Un imponente lavatoio di granito si trova in una delle stanze. Ricorda il lavoro degli orfani che lavavano la biancheria dei signori e delle chiese. La Regione e l'Amministrazione Comunale stanno attualmente lavorando a progetti di riqualificazione dell'edificio.