La Torre dei Borboni
dell'isola di Ponza

L'anno successivo si dà inizio ai lavori di fortificazione della Torre e di ripristino del centro abitato. Nel 1485, i gaetani assediano la Torre di Ponza e dopo un breve combattimento si impossessano del presidio. Ma ben presto il Carafa reclamandone il diritto al re Carlo VIII, ne rientra in possesso e lo mantiene fino al 21 Marzo del 1524, data nella quale il Viceré di Napoli, su ordine del Papa, restituisce il possesso della contea allo Stato Pontificio. Nel 1532, il pirata Barbarossa proveniente dalla Turchia, dopo aver espugnato la Torre invade le isole Ponziane mettendole a ferro e fuoco. Nel 1542 la Torre e le Isole vengono cedute in enfiteusi al Duca di Castro Pier Luigi Farnese, ma restando ancora sguarnite di adeguate milizie, nel 1543 i corsari Algerini la assaltano ripetutamente finchè riescono a sbarcare e ad uccidere i militi e tutti gli abitanti.
Il 1° giugno 1543 prende possesso ufficialmente della Torre di Ponza il 'Commendatario' di Gaeta sotto gli auspici del Vicerè di Napoli e del Papa affinchè si allontanasse il flagello dei pirati che nell'incursione dell'anno 1543 si erano spinti fino alle porte di Roma. La Torre di Ponza viene consolidata diventando nuovamente il presidio a tutela dell'accesso nelle isole ma tuttavia i territori restano disabitati per il timore delle popolazioni verso le continue scorrerie piratesche. Da allora ogni sbarco, ogni prelievo di legna o pietre, ogni piccolo insediamento è rigorosamente controllato dalla postazione.
Con l'estinzione della famiglia Farnese, tutti i beni passano per diritto ereditario ai Borbone di Napoli e così; anche le Isole Ponziane. Nel 1734, Carlo III di Borbone ne ordina la colonizzazione partendo dalla costruzione di un sistema difensivo solido ed efficace. La Torre di Ponza viene ampliata, rafforzata e notevolmente elevata. Viene, tra l'altro, realizzata un'enorme cisterna per la raccolta dell'acqua piovana. Vengono collocati cannoni navali a lunga gittata e, fatto innovativo, viene installato un "albero di segnalazione a specchi e bandiere. In pratica, tutto il sistema difensivo appare strategicamente nuovo ed attentamente studiato nei suoi punti, la Torre principale, più che apparire come la classica corazza di tartaruga posta all'esterno del corpo, è in realtà; collocata al centro degli otto punti difensivi.

Ancora una volta la teoria del panottico viene abilmente applicata in concreto dall'ingegno militare Borbonico. La Torre al centro, quale punto di arrivo delle comunicazioni delle postazioni periferiche, ed al centro quale punto di partenza degli ordini di difesa verso la periferia. Da essa, infatti, è possibile vedere tutti i punti di difesa dell'Isola anche se collocati nell'altro versante. Un sistema complesso ma allo stesso tempo pratico ed efficace che rese praticamente vano ogni tentativo di assalto da parte dei pirati.
Nel 1857 Carlo Pisacane, dopo aver preso in ostaggio con uno stratagemma alcuni ufficiali di servizio al Porto, si fa aprire le porte della Torre di Ponza, ma la delusione è tanta nel notare che in essa non vi sono né armamenti, nè i tradizionali sistemi difensivi: solo attrezzature per l'avvistamento e la segnalazione. La Torre aveva magistralmente celato anche dopo la sua conquista la reale ed importante funzione nel complesso sistema difensivo isolano visto che gli assalitori la sottovalutarono tanto che da essa partirono indisturbati informazioni ed ordini verso le altre postazioni permettendo di organizzare una linea difensiva sul resto dell'isola e di inviare informatori a Gaeta. Conclusa, come noto, la parentesi di Pisacane, e temendo nuove simili tragedie per la piccola comunità; isolana, il Regio Governo Borbonico fece installare presso la Torre di Ponza, un telegrafo il cui cavo viene posato fino alla fortezza di Gaeta per oltre 30 miglia di mare: un vero primato per quel tempo.
Dopo l'Unificazione Italiana, la Torre cade in un totale stato di abbandono, e con essa il resto degli avamposti costieri. All'inizio del secolo diventa sede comunale, pertanto è restaurata ed in parte ampliata per la realizzazione di nuovi vani. Nell'immediato dopoguerra la sede comunale viene nuovamente spostata e la Torre questa volta è adibita ad edificio scolastico, ma dopo qualche anno diventa fatiscente per mancanza di manutenzione, e viene nuovamente abbandonata alla sua sorte. Nel 1950 è acquistata dagli attuali proprietari che la destinano a scopi turistico-culturali. Nel 1995 la Torre è restaurata su iniziativa di Maria del Pilar Oliviè.