Per la sua struttura tozza e austera alcuni storici ne fanno risalire l’origine addirittura al periodo romano, mentre il piano superiore al periodo normanno. Durante il periodo angioino, il castello, a pianta trapezoidale irregolare con torrioni angolari, fu più volte ristrutturato e Carlo d’Angiò, nel 1273, in occasione di una visita nel Salento, vi soggiornò, ospite del conte Adenolfo XI d’Aquino. Nel 1537, in seguito all’occupazione della città da parte dei barbari guidati dal pirata algerino Barbarossa, il castello fu gravemente danneggiato: due torri furono distrutte come del resto buona parte dell’ala occidentale, del pian terreno e del primo piano. Il maniero, riedificato nel 1642 ad opera del conte Vaaz de Andrada, ha subìto un importante rinnovamento tra la fine del Seicento e gli inizi del Settecento per volere dei proprietari del tempo, Nicola e Francesco d’Amore, che ridimensionarono l’aspetto difensivo del castello facendolo assomigliare, al contrario, ad un palazzo gentilizio. Al suo interno, infatti, è dotato di ampi saloni, quasi tutti ornati da pitture e decorazioni di diverse epoche. Il castello ha versato per molto tempo in uno stato di completo degrado, aggravato da illogiche costruzioni e adattamenti, per poi precipitare in uno stato di completo abbandono fino al 2005. Attualmente è in ristrutturazione.