Dalla sommità di uno sperone roccioso, quasi a sentinella del borgo medievale e delle sue intricate stradine, il castello Caracciolo domina la valle del Melandro. Una scala in pietra a cielo aperto conduce all'ingresso principale dell'ex fortezza angioina, di cui restano i ruderi della cortina muraria, con la torre semicircolare, ed il mastio cilindrico che si erge dalla massiccia mole a strapiombo sul torrente Pergola.
Recentemente restaurato, il maniero, dichiarato nel 1900 monumento d'interesse architettonico, ha restituito frammenti delle originarie pavimentazioni e due statue in pietra dura, a testimonianza del suo passato.
La leggenda narra che il castello aveva 365 stanze (una per ogni giorno dell'anno) e che nella 366 stanza, segreta, era custodito il tesoro della dama Bianca che visse nel maniero intorno al 1300.
D'estate il borgo ed il castello sono lo scenario per manifestazioni e rievocazioni molto suggestive in cui si può assistere a mostre, concerti, sfilate e serate a tema.