Nel XV secolo gli Aragonesi, insediati sul trono Napoli, preoccupati sia per le rivolte interne della Calabria che per le incursioni piratesche delle coste del regno, incominciarono a costruire dei veri e propri sistemi difensivi, tra fortezze e castelli. A Castrovillari il castello aragonese, iniziato attorno al 1461,venne completato attorno al 1490.Questa data, tuttavia, è riportata anche nelle iscrizioni dei castelli di Belvedere, Corigliano, Pizzo Calabro, per cui potrebbe essere semplicemente  legata ad esigenze di tipo commemorativo.Sul portale d’ingresso, lo stemma delle armi reali aragonesi, affiancato da due putti, reca anche una scritta dedicatoria in latino, secondo la quale Ferdinando I d’Aragona fece costruire il castello castrovillarese per tenere a freno i cittadini che più volte si erano ribellati  al dominio straniero. L’imponente costruzione di Castrovillari, unpossente corpo rettangolarecon quattro torri cilindriche, era circondata, in epoca antica, da un profondo fossato che alcuni studiosi ritenevano pieno d’acqua, mentre altri sostenevano che vi fossero allogati dei “capannati” ( in realtà nell’architettura militare del XV secolo non prevedeva l’acqua nei fossati).Era altresì dotata di un ponte levatoio, ma era priva di finestre ed aperture notevoli e dovevano esserci soltanto feritoie, caditoi e rare fenditure di difesa. Ad un indagine più approfondita, risulta che la torre posta a nord-ovest, nei pressi del Ponte della Catena, ha una pianta poligonale con i lati irregolari e ciò farebbe pensare ad una struttura innalzata sui ruderi di una torre preesistente di epoca normanno-sveva. La torre più grande, invece, il cosiddetto “mastio”, decorata da archetti pensili (beccatelli), è tristemente nota come la “torre infame” (o “della fame”, secondo alcuni storici ), a causa delle punizioni terribili inflitte ai prigionieri in essa rinchiusi. I sotterranei del castello, in parte murati, in parte visitabili, sono caratterizzati da una serie di corridoi bui, di passaggi segreti e di umide e tetre stanze dalle volte a botte. E’ plausibile che il castello sia stato progettato, come gli altri in Calabria,  secondo i criteri architettonici del celebre ingegnere militare Francesco di Giorgio Martini, operante alla corte d’Aragona, anche se le fonti storiche locali parlano del castrovillarese Paolo Giannitello come costruttore del maestoso edificio. In verità molti studiosi ritengono che il nome del Giannitello sia quello  del notaio che aveva redatto un atto di vendita i cui denari, trecentosessanta ducati, servirono appunto per la costruzione del castello. Nel 1521, allorché l’imperatore Carlo V vendette la città di Castrovillari alla nobile famiglia Spinelli di Cariati, il castello aragonese divenne una tremenda prigione. Nonostante si fosse stabilito un accordo secondo il quale il castellano doveva sempre essere un castrovillarese, durante il drammatico periodo feudale, vennero rinchiusi e lasciati morire nella “torre infame” moltissimi individui, la maggior parte del tutto innocenti. Nel 1579 la città passò ai principi Sanseverino e anche nel castello si godette di un breve periodo di tranquillità, fino al 1620, quando la città ritornò nelle mani degli Spinelli e nel castello ripresero i martirii e le sofferenze. Ancora più atroce fu l’800, quando, durante la lotta al brigantaggio, la “torre infame” divenne teatro di orrendi delitti, anche a causa di un feroce e crudele carceriere, Francesco Minervini da Cassano. Costui, descritto da diversi storici, era alto e giallastro in viso, aveva lunghi e scarmigliati capelli e portava con sé una lunghissima mazza con la punta di ferro,con la quale infieriva barbaramente contro i prigionieri, seppellendoli vivi, senza né acqua né cibo, nei sotterranei. Dal 1490 fino al 1995 il castello aragonese di Castrovillari è sempre stato prigione prima e carcere dopo. Si racconta che, attraverso camminamenti sotterranei si giungesse direttamente dal castello a palazzo Cappelli, sede del Tribunale della città dal 1862. Dopo dieci anni di restauro, attualmente, è fruibile al pubblico. Antico e misterioso, il maniero, forse uno dei più terrificanti del Regno di Napoli, sembra ancora rievocare più di cinquecento anni di storie di torture e di dolore,  di sangue e sofferenze!!!