Il maniero, che fu bruciato nel 1529 dal principe di Taranto, fu salvato dalla parte bassa attraverso un portale ad arco. Ci sono molti ambienti nel piano basso della fortezza, uno dei quali è una parete affrescata con le immagini di S. Girolamo Dalmata, S.Nicola di Bari e S. Leonardo Francese. C'è una forte evidenza di valori architettonici perpetuati nella pietra che qui regna sovrana. Il Museo dell'Olivo sarà presto ospitato negli ampi locali di questo edificio, che è stato recentemente sottoposto a numerosi lavori di consolidamento e restauro. La Torre di Rufolo è come un relitto di tempi lontani a causa della sua natura selvaggia e dei cespugli di fichi d'India. Un tempo era un vero e proprio castello con un piano superiore che era difeso da quattro torri. Dopo aver abbandonato la sua patria nel 1307, Ruggero Rufolo si rifugiò nelle campagne di Ravello e vi costruì la sua casa.