Anticamente vi risiedeva il Capitano del Popolo...famoso inoltre poiche nella torre di Muda o della fame che venne inglobata al palazzo venne imprigionato e vi trovo la morte il Conte Ugolino...come cita uniscrizione sul frontespizio del palazzo...Anticamente inoltre ospito linfermeria dellordine dei cavalieri di S.Stefano...A cavallo degli anni 70-80 il palazzo passò di proprieta alla Scuola Normale di Pisa, che lo fece diventare una biblioteca..realizzando contemporaneamente un passaggio sotterraneo che collego il palazzo dellOrologio al palazzo dei Cavalieri, sede centrale della Scuola Normale...

La testa del conte Ugolino sarebbe stata contenuta in un cesto, ma le prime lampade della città sarebbero state nel cesto. Il conte Ugolino fu rinchiuso nella torre dove fu preso dalla fame e mangiò i suoi figli.