Nel suo ultimo testamento il Conte Innico Piccolomini (1507-1566) dispose che, a sue spese, fosse edificata una chiesa in onore della Madonna del Carmine.
Soltanto nel 1573 la figlia Costanza ottenne la dispensa papale per la realizzazione della chiesa e dell'annesso convento dei Carmelitani, a causa della forte opposizione dei Frati Conventuali della vicina chiesa di San Francesco.
La facciata barocca, coronata da timpano, è delimitata lateralmente da due lesene; il portale architravato a timpano spezzato è affiancato da nicchioni laterali contenenti le statue in gesso di due Santi Carmelitani; la grande finestra centrale barocca è sovrastata da una cornice aggettante.
L'interno barocco con pianta a croce latina è costituito da quattro cappelle laterali e sei altari; conserva inoltre il pregiato Organo di Emilio Mampieri del 1839.
Il convento, oggigiorno adibito ad uso abitativo, venne in passato utilizzato come municipio e in seguito come carcere.
.