La  costruzione del Castello è da attribuirsi al Vescovo Leone, che troviamo menzionato nella Carta Originale Cassinese n. 5 del 30 ottobre 839, indizione terza. Nel 1105 passò a Riccardo I dell'Aquila e nel XIII secolo fu residenza dei Caetani. In esso furono ospitati personaggi illustri, tra i quali S. Tommaso d'Aquino (1272). Nel 1452, per volere di Alfonso d'Aragona, vennero eseguiti lavori di restauro. Nel secolo XVI il maniero appartenne ad una delle più belle donne d'Italia, Giulia Gonzaga, contessa di Traetto e di Fondi e, successivamente, ad Isabella Colonna. Nel 1692 lo acquistò Adriano Carafa. Oggi in parte è sede dell'ISMEF  (Istituto Mediterraneo di Formazione per le professionalità nautiche). L'altra ala (Sala dei Baroni, corte, stanze in restauro) è nella disponibilità del Comune di Minturno, proprietario dell'immobile.