Før marinestasjonen ble etablert hadde Horten lange tradisjoner som ferge- og gjestgiversted med sikre opptegnelser tilbake til slutten av 1500-tallet. Sentral beliggenhet kombinert med en rask forbindelse til Jeløya ved Moss gjorde dette til det viktigste fergestedet mellom vestre og østre side av Kristiania/Oslofjorden. Grunneieren hadde privilegier på driften og drev i tillegg med skipsbygging. Viktige bygninger fra denne epoken i stedets historie står fremdeles i form av (rester av) to tidligere gårdsanlegg som representerer to generasjoner av gjestgiversted, det yngste fra 1780–90-årene. Etter at Forsvaret v/Staten overtok bygningene i 1819–1825 ble de tilpasset behov på marinestasjonen. De er dermed viktige vitnesbyrd om etablissementets eldste historie. Størstedelen av bygningsmassen som opprinnelig tilhørte Horten gård er i dag solgt og dermed gått tilbake til sivilt eie.
Det røde hus: Den tidligere bolig og gjestgivergården til fergestedet Indre Horten er det eldste huset på Karljohansvern og det antas oppført rundt 1770. Deler av huset kan imidlertid være eldre. De første årene tjente huset som marketenteri (servering og utsalg) samt som losji for offiserer. Senere har det vært brukt som bolig for blant annet for ekvipasjemester, takkelmester og til sist som NK-bolig.
Kasernen «Gamle Horten» var opprinnelig uthusbygning til gjestgivergården på fergestedet som lå her forut for marinestasjonen. Bygningen ble ominnredet til kaserne i 1820-årene.