E’ uno dei pochi castelli bagnati dalle acque del mare: esso domina il ponte che dalla città va verso il mare e il porto. L’edificio sovrasta il mare sia a ponente che a levante e venne costruito proprio a difesa della città.
Fatto costruire nel 1281 da Carlo I d’Angiò, il castello venne edificato su una struttura già esistente dal 710 ma, al tempo, venne costruito solo un torrione e un ponte levatoio.
L’edificio venne staccato dalla città solo nel 1484, quando i veneziani operarono il ripristino delle mura di Gallipoli e rafforzarono il castello. Nel periodo angioino, inoltre, vennero edificate 3 torri: quella della Bandiera, della Vedetta e della Campana. Esse erano, però, troppo distanti tra loro e vennero così collegate da dei sotterranei.
Le mura del castello sono in tufo, carparo assemblato con calce, bolo e pozzolana. All’interno presenta grandi sale con volte a botte e a crociera (raelizzate dall’ architetto senese Francesco Martini), vari cunicoli e camminamenti.
Come abbiamo già detto, il Castello Angioino è considerato uno degli ormai rarissimi Castelli ad essere bagnato direttamente dal mare e la sua costruzione evidenzia il suo alto valore dal punto di vista ingegneristico. Attualmente, l’edificio è sede del Comando della Guardia di Finanza.