Sammen med sin familie flyttet Olav Duun til Holmestrand i 1908 for å jobbe som lærer. Olav Duuns hus er en rødmalt sveitservilla i Olav Duuns vei 20. Også når selve huset er stengt er hagen verdt et besøk. På runde steiner rundt om på området er det sitater fra Olav Duuns diktning – noen til ettertanke, andre til å smile litt av.
Bak huset ligger Rambergklova som og er et viktig kulturminne for Holmestrand. Dette var en av flere kleiver som ble brukt som ferdselsåre.