Olavskirken ble bygget på slutten av 1100-tallet, og er en kopi av verdens viktigste kirke; Den hellige gravs kirke i Jerusalem. Den har også paralleller til Olavs grav i Trondheim. Ruinene vitner om en arkitektur og middelaldertenkning i Norge med viktige åndelige og politiske strømninger, i en tid hvor både korstogene og pilgrimsferdene preget Europa. Rundkirken i Tønsberg var den største i Norden, og må ha vært en viktig attraksjon med stor kulturell og åndelig betydning, spesielt siden det finnes få tilsvarende kirker i Sverige, Danmark og ellers i Europa fra denne tiden.
Rundkirkene fungerte også som fyrste-, grav- og dåpskirke. I Olavskirken ble blant annet baglerkongen Erling Steinvegg begravet i 1207.
Rundkirken tilhørte Olavsklosteret i Tønsberg. Den er nevnt første gang i 1206, og ble ødelagt i brann, sannsynligvis under den store bybrannen i 1536.
Rundhuset, som er hoveddelen av de tre runddelene, var på 23 meter i indre diameter. Ruinene av kirken kan ses i utgravingene som er gjort av Olavsklosteret.
Kirkeruinen ligger sentralt i bybildet, tvers overfor Tønsberg Bibliotek.