Il Convento di S. Antonio, dopo successive ricostruzioni e ristrutturazioni, assunse l’aspetto definitivo nel 1515 per opera dell’Ordine dei Frati Minori Osservanti di Basilicata, dietro autorizzazione papale. In esso vi potevano abitare 14 frati.
Fu soppresso nel 1807 con decreto napoleonico, poi ufficialmente ripristinato  nel 1817 e nuovamente soppresso nel 1866. Nonostante ciò il Convento fu abitato fino al 1898. In seguito, a causa di un lungo periodo d’abbandono, le strutture architettoniche diventarono sempre più precarie e si decise, negli anni cinquanta, di demolire addirittura l’ala sud perché ritenuta pericolante. La demolizione naturalmente non tenne conto degli affreschi e della grande biblioteca, che andarono irrimediabilmente perduti!
Il restauro (iniziato sul finire degli anni settanta e terminato nel 1993) è stato finalizzato alla conservazione dell’ esistente ed alla sua integrazione con nuove opere.
Il complesso del Convento è simile all’ impostazione architettonica degli altri conventi francescani esistenti in Basilicata, costituita da tre corpi di fabbrica e dall’aula ecclesiale che circonda un chiostro quadrangolare; al centro di esso vi si trova un pozzo in stile spagnolo che risale al XVII secolo. In origine le pareti intorno al chiostro erano occupate da molti affreschi (come anche nella chiesa e nel refettorio) da attribuire a Giovanni Todisco di Abriola, che ha dipinto l’ Ultima Cena nel 1559 e anche le Storie della vita di Cristo, contenute nell’ ala orientale del chiostro di cui sopravvivono purtroppo solo frammenti. Il figlio di Giovanni Todisco (Girolamo) ha dipinto le scene
dell’ Annunciazione e le storie del ciclo francescano.
Dal lato sinistro del portico si può accedere alla cappella del Carmine (costruita tra il 1616 e il 1645) di fattura simile alla cupola rinascimentale – fiorentina. In passato era un’ edicola funeraria. Ne è la prova il quadro della Madonna del Carmine e le anime purganti attribuita al pittore Giovanni Bernardino Azzolino da Napoli.
 Si può accedere nel Chiostro dalla porta sul lato destro dell’ atrio e da una porticina sul lato destro della Chiesa