A sud della città si trova la chiesa di San Pietro Celestino, costruita su un'altra struttura preesistente e dedicata allo Spirito Santo. Fu ribattezzato il monastero dei Padri Celestini e divenne la chiesa di San Pietro Celestino, dopo di che il monastero dei Padri Celestini del XIII secolo fu abbandonato. Il monastero si trovava in un punto ancora chiamato Spirito Santo (vicino al cimitero). Il nome di Celestino V (Pietro Angelerio), il santo asceta di Isernia, fu dato alla chiesa. La chiesa fu resa sede dell'Arciconfraternita di San Pietro Celestino e San Nicandro Celestino dopo la soppressione dell'Ordine Celestiniano nel 1809. Il vescovo Giovanni Lucato la elevò a parrocchia per il territorio sud-occidentale di Isernia. Questa situazione pastorale fu mantenuta fino al 1996, quando il vescovo Andrea Gemma la ripristinò. Egli riassegnò il territorio alla parrocchia della Cattedrale e trasferì la sede di San Pietro Celestino, a Fragnete, dove si trova il santuario della Madonna della Pace. Da allora la parrocchia si chiama San Pietro Celestino della Pace.