L'edificio si affaccia sulla piazza intitolata al governatore veneziano Giuliano Gradnigo, che costruì la chiesa dedicata a San Sebastiano nel 1503. La chiesa fu occupata dalla comunità agostiniana, che vi si trasferì nel 1533. Nel 1533, fu aggiunto il culto di Sant'Agostino. La chiesa e l'edificio adiacente furono ufficialmente ripresi dalla comunità nel 1604. Il convento ricevette il titolo di San Sebastiano dagli Agostiniani, ma era anche comunemente conosciuto come Sant'Agostino. Nel corso dei secoli crebbe fino a diventare uno dei conventi di maggior successo a Trani. Fu chiuso nel 1809 e lo Stato ne acquisì la proprietà. Fu dato alla città nel 1813, che lo utilizzò come sede centrale del carcere fino al 1845. Su richiesta dell'arcivescovo Gaetano de Franci, fu trasformato in Ospedale Civile con il nome di San Nicola Pellegrino. Ha ancora le armi arcivescovili e un'iscrizione in pietra per aiutarvi a ricordarlo. L'Ospedale Civile fu operativo fino al 1960. Fu spostato nella sua posizione attuale e utilizzato come sede dell'Istituto Professionale Statale per il Commercio. Tuttavia, a causa delle precarie condizioni, è oggi sottoposto a vincolo da parte della Soprintendenza per i Beni Artistici e Storici Puglia. Nonostante sporadici e urgenti lavori di consolidamento nel corso degli anni, l'edificio è ancora in condizioni precarie a causa di un decennale contenzioso tra ASL (il Comune) sulla sua proprietà.