Gården Søndre Skogen var i slutten av 1700-årene eid av en velstående bonde, Hans Hansen Gulskogen. Da han kom i fengsel og døde, gikk gården på auksjon i 1793. Peter Nicolai Arbo og Anne Cathrine Collett, byens rikeste jet-set, slo til. I løpet av få år var husene på Gulskogen ombygd til klassisistisk landvilla etter engelsk-danske forbilder, og nedre del av jordveien opparbeidet til en 30 mål stor landskapspark. I begynnelsen av 1800-årene var Gulskogen én blant mange lekre landeiendommer som lå i et belte på hver side av Drammenselva. Byggherren flyttet til Danmark etter 1809. Gulskogen ble forpaktet bort og ble lite brukt som lystgård. I 1828 ble gården fast bolig. Byggherrens slektning, overlærer ved latinskolen i Drammen, Christian Fredrik Arbo og hustru Marie Christiane Rosen, flyttet inn. Siden har gården vært bebodd av etterkommerne. Maleren Peter Nicolai Arbo (1831-92) og arkitekten Christian Fredrik Arbo (1876-1951) bodde her i lange tidsrom. Gårdens siste eier var tekstilkunstneren Ingeborg Arbo (1872-1958).

Bygninger, hage og museum

Hovedbygningens bordkledning imiterer klassisistisk sandstensdekor. De malte vinduene viser at huset ble utstyrt med "engelske" skyvevinduer. Opprinnelig var hovedbygningen omgitt av to frittliggende sidebygninger. Sett fra hagesiden fremsto fløyene som paviljonger på hver side av hovedbygningen. I 1860-årene ble sørfløyen revet. Den var bygget i mur og bindingsverk og inneholdt sal og veksthus. Hovedbygningen ble samtidig utvidet med nåværende spisestue i vinkel mot nordfløyen.

Mens andre lystgårder langs elva ble erstattet av fabrikker og bolighus, er Gulskogen bevart. Den gamle uthusfløyen mot veien er intakt under bordkledningen. I 1857 ble det bygd ny stor enhetslåve som er intakt fra tiden det var gårdsdrift.I 1959 ble Gulskogen stiftelse og åpnet huset for publikum første gang i 1972. Fra 1996 ble Gulskogen del av Stiftelsen Drammens Museum. Anlegget ble "restaurert" av arkitekt Christian Fredrik Arbo, som tegnet stakittgjerde foran tunet. Gården er et sjelden komplett anlegg. Huset er møblert som i Arbofamiliens tid, og uthusanlegget står intakt. Parken er også bevart. Her er nøttelund, dammer, og prydparterrer. Lindealleen er 265 m. Parken kan også by på Norges eneste bevarte labyrint av lindetrær.

Sjøboden fra "Runtom" En av Drammens få gjenværende sjøboder ble flyttet fra "Runtom" (Drammen) til Gulskogen i 1970-årene. Sjøboden er trolig fra 1800-årene, men det kan tenkes den er eldre. Heisespindelen er rekonstruert etter spor, og huset er intakt. To etasjer rommer utstillingen "Drammenselva sett gjennom en sjøbu", som inngår i Gulskogens publikumsaktiviteter. Utstillingen handler om elvas betydning for næringliv, ferdsel og kultur.

Båthuset ved siden av ble bygd i 1991 og huser blant annet en nedsetterbåt fra Drammenselva.

Litt lenger opp ligger et "stemhus" flyttet fra "Konghenglet" i Sigdal. Huset rommer en spindel med trosse for å slippe tømmerflåter ut i henglset. Langs bredder er synlig påler for opplag av tømmer fra fløtningstiden. Noen dopper er fortsatt synlig i elva.