L'ingresso dell'antica residenza si trova in via Gelso. È ornato dagli stemmi delle famiglie Da Grifalco. Il leone rampante originale e una fascia ovale con i tre mori visibili su di essa, sono solo alcuni dei molti temi ricorrenti che si possono trovare a livello decorativo del palazzo. Questo motivo risale ai secoli XV e XVI. Le teste dei mori e il nuovo nome "Saraceno" sono collegati a un membro della famiglia che uccise un soldato saraceno durante la prima crociata. L'esterno del palazzo è segnato da un bugnato e da due iscrizioni. Una che mette in guardia dal danneggiare la famiglia e l'altra che riporta i versi dell'Inferno di Dante, e l'altra che mette in guardia dall'intimidire gli altri. Infatti, la casa voleva distinguersi dalle altre importanti famiglie di Giovinazzo. La maggior parte di loro viveva in via Gelso. È possibile vedere ancora i cardini di un'antica porta dall'alto di una magnifica scala. Questa dà accesso alla sala, che una volta era il cuore del palazzo saraceno. Anche se il tetto di legno non c'è più, si possono ancora vedere gli archi di tre aperture che sono state successivamente murate prima di raggiungere l'esterno. L'antico pozzo è ancora visibile. Si possono anche vedere le teste di un moro sulle pareti esterne di questo pozzo. Uno di questi riccioli è così ben definito che sembra quasi di poterlo toccare. Le scanalature delle corde utilizzate per sollevare il secchio sono visibili sul bordo di questo pozzo. Il palazzo saraceno era un esempio di come l'acqua fosse importante. Era anche usata in un modo molto ingegnoso. Questo è un metodo che è ancora visibile oggi. I condotti che sono ancora visibili sotto la pavimentazione collegano il pozzo in modo che l'acqua piovana vi scorra dentro. Una volta piena, l'acqua in eccesso può essere smaltita all'esterno.