Citadellet er en del av Stavern fort som grev Ulrik Frederik Gyldenløve fikk bygget under den såkalte Gyldenløvefeiden mot svenskene fra 1675 -79. Det ligger på Stavernsøya rett utenfor Stavernbyen, og er i dag friareal.
Fortet ble en viktig base for Tordenskiold og hans flåte under den store nordiske krig 1709-1720, og var et svært sentralt punkt for sjøtrafikken til og fra Danmark i denne perioden. Fortet skulle blant annet forsvare utskipingen av kanoner og kuler fra jernverket i Larvik.
Stavern fort og havn ble brukt som eneste flåtestasjon for norsk-danske krigsskip og for lasteflåten som opprettholdt forbindelse av post og forsyninger mellom Danmark og Norge under krigen.
Det var i disse årene tidlig på 1700-tallet at sjøhelten Peter Wessel Tordenskiold utfoldet seg i Stavern, det stedet han anløp oftest av alle nordiske havner. Historien forteller at han forelsket seg i en Stavernspike, og det sies at hun går igjen på Citadellet.
Deler av murene og vollene på Stavern fort ble fjernet, og andre deler fornyet, da Fredriksvern ble anlagt som hovedstasjon for den norske marinen fra 1750 til 1758. Slik ble det gamle fortet en del av Fredriksvern Verft.
Kruttårnet, det eldste bygget i anlegget, er karakteristisk utformet og i dag en kjent turistattraksjon dit det guides om sommeren. Museet og teateroppsetningene der sommerstid trekker alltid mange turister.
I den gamle kommandantboligen på Citadelløya har landets billedkunstnere hatt sitt feriested siden begynnelsen av 1900-tallet. Hans Gude, Christian Krogh og Odd Nerdrum kan nevnes blant de mange som har besøkt Citadellet og fått inspirasjon der.
I dag står Tordenskiold bredbent i bronse på en knaus ved havna og skuer ut over sin gamle ankerplass. Statuen av sjøhelten er laget av billedhugger Gustav Vigeland.