Papa Urbano VIII emanò una bolla papale per i pellegrini della chiesetta di S. Maria perché il complesso rivestiva un importante ruolo culturale e religioso per tutta la valle del Chiampo. Nel 1486 dopo la peste che imperversava nella Valle e per ringraziare della liberazione dal morbo, sul colle di Castello e al posto di un'antica cappella dedicata ai Santi Rocco e Sebastiano, fu costruito un Santuario. Il complesso fu acquistato dalla famiglia Mistrorigo nel 1882 dopo essere stato per decenni di proprietà della famiglia Dalla Negra.