I samband med att Peters mor och äldsta syster dog 1806 lämnade han fadern i Skånstorp och blev dräng vid Djuckerö. Husförhöret där anmärker att han "hör illa".

Några år senare var han tillbaka i Skånstorp igen, och 1810 gifte han sig med Kjerstin som sedan tidigare hade en utomäktenskaplig dotter.

1816 dog den äldsta gemensamma dottern och två år senare även Kerstins första dotter. Vid den tiden säger husförhöret att Petter "[Afskädt?] gårdsbruket och tjenar som dräng hos Petter Samuelsson".
Petter verkar sedan 1817 ha lämnat familjen och blivit "dräng" i Ulfstorp. Kerstin fanns fortfarande kvar i Skånstorp i slutet av decenniet men går sedan inte att hitta. Från Ulfstorp flyttade Petter sedan till Larstorp på Hårketorps ägor men från 1820 är han borta därifrån och inte återfunnen.