Giulio Romano acquistò la casa che usava come abitazione nel 1538 in via Poma. Questa è l'antica zona mantovana di Unicorno. L'artista aveva precedentemente vissuto in altre due case della città. Tuttavia, modificò l'edificio del XV secolo per adattarlo alle sue esigenze e ne fece la sua residenza permanente. Giorgio Vasari descrisse la casa come segue nel 1568: "Giulio costruì una casa a Mantova, di fronte a San Barnaba. Fece una spettacolare facciata esterna, tutta con stucchi colorati.