Il Palazzo, oggi diviso in due ali, una anteriore e una posteriore, presenta una notevole corte interna utilizzata probabilmente come chiostro. L’ala posteriore, la più antica, fu l'ultima sede del Convento di Santa Maria dei Benedettini. Il convento, probabilmente fondato dai Basiliani in contrada S. Maria (accanto alla cappella di S. Maria), cambiò possesso con l’avvento di Roberto il Guiscardo e fu spostato in paese, appunto nell’ala posteriore dell’attuale palazzo municipale, che l’ospitò fino al 1542. L'ingresso del convento era prospiciente alla Chiesa Madre ed il convento stesso era collegato tramite un passaggio a ponte alla chiesa dei Carmelitani. L’ala anteriore del Palazzo, invece, venne edificata nel 1630 ed ospitò, sin dal 1649, il Convento dei Carmelitani di Antica Osservanza.
Con decreto di Gioacchino Murat, dell'8 Agosto 1809, il convento fu soppresso. Il Palazzo oggi si affaccia su quella che è la piazza principale del paese: Piazza Tavolaro.