Secondo il bollettino diocesano "Gallura e Anglona" del 1927, l'Oratorio del Rosario sarebbe stato costruito sul luogo dove sorgeva un antico tempio pagano dedicato anticamente a Castore e Polluce, gemelli di Giove e Leda, protettori del leggendario presidio romano nel territorio di Tempio. Non si sa quando sia stato costruito l'oratorio, ma si ritiene che sia stato costruito intorno al 1300.