Tra gli elementi superstiti del Castello duecentesco si riconosce l’arco romanico in pietra leccese, arabescato e ornato da foglie d’acanto, elementi vegetali ed animali, incastonato sulla facciata del lato occidentale. 
La Torre, eretta nella metà del XVI secolo dai feudatari Gattinara Lignani, con funzione di difesa dai turchi, presenta piccole finestre con archi a sesto acuto e un parapetto sporgente su mensole quadrilobate e culminante con una merlatura guelfica. 
La facciata principale, che prospetta su Piazza Castello, è impreziosita da portali con bassorilievi tardobarocchi raffiguranti soggetti floreali, la croce dell'Ordine dei Cavalieri di Malta e gli stemmi di alcune casate feudali di Taurisano. Gli ambienti interni sono completamente decorati con tempere. Le volte affrescate degli ambienti raffigurano gli stemmi della famiglia ducale e quelli delle famiglie imparentate con essi, putti, dame e soggetti floreali, risalenti al periodo che va tra la fine dell’800 e gli inizi del ‘900. I pavimenti con pregevoli mosaici furono realizzati dalla Ditta Fratelli Peluso nei primi anni del '900.
L'attuale costruzione comprende anche la Cappella della Madonna Consolata, nella quale si può ammirare la splendida tela del XVIII secolo raffigurante Sant'Alessandro.