Da recenti ricerche è emerso che la costruzione del Castello è da attribuirsi al vescovo Leone, che troviamo menzionato nella Carta Originale Cassinese n°5 del 30-10-839 (d.C.).  Il Castello Baronale nel 1105 passò a Riccardo I dell'Aquila e nel XIII secolo fu residenza dei Caetani.  Nel secolo XVI il Castello appartenne alla più bella donna d'Italia, Giulia Gonzaga, contessa di "Traetto" e di Fondi e, successivamente, ad Isabella Colonna. Il 7 gennaio 1689 morì don Nicola Guzman-Carafa, figlio primogenito di donn'Anna Carafa e del duca Medina de las Torres, vicerè di Napoli dal 1637 al 1644. Deceduto senza eredi, i beni del principe di Stigliano, Guzman, furono incamerati dalla Regia Camera e, successivamente banditi in pubblica asta. Dopo numerose offerte il ducato di Traetto, compreso il Castello Baronale, rimase aggiudicato, per 102 mila ducati, a don Adriano Carafa. Antonio Carafa, senza prole, prima di morire, lasciò, a favore del nipote Adriano Antonio I, un maggiorasco di 400 mila ducati. Nel testamento non venne menzionato il Castello Baronale di Minturno così, dall'albero genealogico dei Carafa di Napoli,  risulta che il Castello fu acquistato da Adriano Carafa, fratello di Antonio. Il 26 maggio 1676 Adriano convolò a nozze con Lucrezia Caracciolo. Prima che la prima moglie morisse, Adriano Caracciolo sposò, nel 1693, Isabella Tomacelli. Da Adriano e da Isabella nacque Adriano Antonio I, a lui furono intestati il 17 dicembre 1699 i feudi paterni e nel 1712 gli fu concesso il titolo di duca di Traetto. Il Castello Baronale fu sede dei Caracciolo-Carafa dal 1693 al 1948. Successivamente, il Principe Giovanbattista Caracciolo-Carafa fu Francesco donò parte del Castello all' Ente Morale per gli Asili d'Infanzia (istituito il 27 marzo 1930 con R.D. n°372) di Minturno il 17 dicembre 1948, con rogito n°678 del notaio Cesare Castelli, affinché fosse adibito "a scopo veramente educativo di apostolato e di cultura". Il Comune di Minturno ha acquistato parte del Castello dal Principe Francesco Caracciolo-Carafa e parte dall'Ente Asili il 28 dicembre 1990 (repertorio n°631) per lire 15 milioni.