Den første faste bosetting her ute kom sist på 1500-tallet. Folketallet i Norge begynte da så smått å ta seg opp igjen etter Svartedauen, en pest som herjet landet 150 år tidligere. Etter hvert som folketallet sakte tok seg opp igjen begynte det å bli smått med ledig jord på øyene. Mange måtte dyrke opp selv de minste jordlappene. Det var gjerne de yngre sønnene og døtrene på gårdene som fikk øyene som sine arvedeler. De bosatte seg midt inne på øyene hvor det var jord og ikke i strandkanten. Her finner vi ennå navn som "Tuftene" og "Tomtene". Den første befolkningen her ute var altså bønder med husdyr. Men jorda kunne ikke brødfø så mange. I 1680 bodde det fortsatt ikke flere en tre familier på Lyngør på til sammen 13 personer, men i begynnelsen av 1700 tallet var innbyggertallet økt til 31.
Kontakten over havet
Etter hvert kom det andre som begynte å livnære seg av fiske, handel og seilskutetrafikk. Det var først da man begynte å bygge seg hus nede ved sjøen. Langs kysten var det alltid behov for losing, en aktivitet mange bedrev i stor stil her ute. Norge hadde på den tiden ingen egen flåte, bare mindre skuter som gikk på Danmark og langs kysten. Så utrolig det en høres var kontakten over havet langt mer omfattende og viktig en kontakten med fastlandsnorge. Det var nemlig mye enklere å ferdes over Skagerrak en over høye fjell og daler til fots på fastlandet. I kjølvannet av trafikken over Skagerrak ble det også knyttet familiære bånd både til Danmark og Holland. Etter hollenderne som allerede hadde seilt på Sørlandskysten i over 100 år finner vi mange slektsnavn i området som skulle tyde på at kontakten over havet ikke bare var tuftet på handel. Holland var da en stormakt som trengte store mengder tømmer til peleverk under bygningene sine byer. "Amsterdam står på Norge", sa sørlendingene. Etter hvert kom hollenderne også med sine "hummerbuiser". Det var skuter med kummer for transport av levende hummer. De hentet også bl.a. ferdige småbåter og steinheller. Senere kom også Danmark på banen for også de hadde behov for mye trevirke. Det ble etter hvert en livlig skipstrafikk som ikke bare satte sit preg på Lyngør men som også var med på å påvirke både kulturen og folkelynne her ute.
