Sven föddes 7 månader efter faderns död. I fyraårsåldern, året efter att hans mor gift om sig, lämnades han bort och blev fosterson hos smeden Petter Gustafsson Aspling (f. 1745) och dennes fru Maria Jacobsdotter Åberg (f. 1731) vid "Sågsmedjan" vid Garphytte bruk.

1805 lämnade han fosterföräldrarna och blev "murare" (i början murardräng) vid alunbruket i Latorp. Nästan alla arbetare vid alunbruket hade "tillnamn" och Sven började snart kalla sig Söderberg. Här träffade han också strax pigan Anna och de gifte sig 1806-11-18.

Sommaren 1812 dog andra dottern, bara 8 månader gammal, och strax därefter även Anna. Dödsboken ger ingen dödsorsak för någon av dem.
Året därpå gifte Sven om sig med änkan Stina Jansdotter och bosatte sig hos henne i Ingelsta.