La collezione fu iniziata dal barone Alfonso Colosso ed è custodita dai suoi figli ed è una delle rare collezioni storiche private della Puglia.

Il palazzo Colosso contiene una delle poche collezioni storiche della regione Puglia, formata con materiali trovati a Ugento e nel suo territorio nel XIX secolo. Gli arredi in terracotta destinati alla sepoltura comprendono tintinnabula e alcune femmine in terracotta, oltre a un disco fittile, di particolare interesse. La collezione è composta da 794 reperti che vanno dal VI secolo a.C. all'Alto Medioevo e comprendono esempi di età moderna come armature, armi e palle di cannone. Il capitello della collezione è simile al capitello su cui era posta la statua di Zeus. La collezione fu iniziata dal barone Colosso e continuata dal defunto Adolfo Colosso, che era un appassionato di storia. Le ceramiche di produzione indigena sono accanto a quelle importate dalla Grecia. L'attuale casa della famiglia Colosso, situata nel cuore del centro storico di Ugento, ha un'affascinante collezione di dipinti del XV e XVI secolo.