Kulturmiljøet som helhet er verneverdig. Det består av en rekke enkeltelementer i form av bygninger, festningsanlegg, kaier, kanaler og andre tekniske anlegg. Sentrale veier, plasser og åpne områder med parkmessig beplanting er også omfattet av vern i tillegg til områder som er mer preget av naturlig vegetasjon og skog. Området kan deles inn i flere delområder; det sentrale Karljohansvern som består av:
A: Verftsområdet
B: Marinesamfunnsområdet
C: Hortensskogen med Kanalen og forterrenget til den befestede marinestasjonen samt
D: Møringa
E: Vealøs
F: Mellomøya og Østøya
De to sistnevnte ligger adskilt og omkranser innløpet til Indre Havn.
- 1 Ute av Forsvarets eie
- 2 Området er gitt dette navnet i verneplanen.
- 3 Området der hovedsetet for Mine- og Torpdovesenet lå, Bromsjordet syd for Kanalen, er i dag ute av Forsvarets eie
Marinekommisjonens forslag til gjennomgående kanal mellom verftet og marinesamfunnsområdet: Et av de eldste kartene over Horten, antagelig Hortenskommisjonens instilling fra 1828. I forslaget er det bl.a. tegnet inn en gjennomgående kanal fra Indre Havn til Stjertebukta med bygninger på hver side og en sammenhengende rekke med båtskur på nordsiden. En av bygningene som allerede var oppført på Verftsområdet er en kalkovn, antagelig den som er omtalt av major Vetlesen i 1829. FMU Kart 6.
Marinekommisjonens forslag 1841. Magasin B og den første store bygningen i Verkstedskvartalen var nå oppført, mens en rekke andre bygninger var planlagt eller under planlegging (lys farge). Noen av disse ble aldri fullført. Det samme gjaldt befestningsplanen (FMU Kart 4, utsnitt).