La prima fortezza fu costruita nel 474 a.C. dal Greco Siracusano Gerone I, venuto in aiuto dei Cumani nella guerra contro i Tirreni. Furono erette, tra l'altro, alte torri per sorvegliare il movimento delle navi nemiche. Finita la guerra, Gerone ritenne l'isola. Venne poi occupata dai Partenopei. Nel 326 a.C. se ne impossessarono i Romani e poi nuovamente i Partenopei. I saccheggi e le lunghe dominazioni dei Visigoti, Vandali, Ostrogoti, Arabi, Normanni, Svevi, Angioini trasformarono completamente la fortezza di Gerone. Nel 1301 l'ultima eruzione dell'Epomeo distrusse la città di Geronda, che sorgeva dove ora vegeta la pineta: la gente si rifugiò sull'isolotto. Nel 1441 Alfonso d'Aragona ricostruì il vecchio Castello Angioino, congiunse l'isolotto all'isola maggiore con un ponte artificiale e fece costruire poderose mura e fortificazioni, dentro le quali quasi tutto il popolo d'Ischia trovò rifugio e protezione contro le incursioni dei pirati. Verso i primi del 1700 la rocca ospitava 1892 famiglie, oltre il Convento delle Clarisse, l'Abbazia dei Basiliani di Grecia, il Vescovo col Capitolo ed il Seminario, il Principe con la guarnigione. Vi erano 13 chiese, di cui 7 parrocchie. Verso il 1750, cessato il pericolo dei pirati, la gente cercò più comoda dimora nei vari comuni dell'isola d'Ischia.
Nel 1809 gli Inglesi assediarono la rocca, tenuta dai Francesi, e la cannoneggiarono fino a distruggerla quasi completamente. Nel 1823 il Re di Napoli mandò via gli ultimi 30 abitanti e ridusse il Castello a luogo di pena. Nel 1851 lo adibì a prigione politica. Successivamente divenne domicilio coatto.