Ved sydenden av parken er et springvann med monument over rederi Wilh. Wilhelmsen som ble reist i forbindelse med rederiets 100-årsjubileum 1961. Her lå allerede i vikingtiden et sete for en stormannsætt. I middelalderen lå St. Stefans hospitalet her, grunnlagt av kong Håkon Håkonsson. Området var klostergods under St. Olavskirken.
I 1878 er det reder Wilh. Wilhelmsen som oppfører sin privatresidens her, en vakker villa i ny-italiensk-renessansestil. Willie Wilhelmsen og Halfdan Wilhelmsens øvrige arvinger sjenket denne bygningen til Tønsberg kommune. Bygningen har vært i bruk som rådhus. I dag rommer den Tønsberg Kunstforeningens utstillingslokaler.