Nils gifte sig i oktober 1777 med pigan Anna Ersdotter från Ytterberga i Bro församling. Annas föräldrar kan inte identifieras då kyrkböcker från Bro helt saknas för åren 1747-71. I början av 1770-talet fanns bara en bror (Carl) och syster (Lisa) kvar i Ytterberga.
Paret bodde i början i Nils föräldrars gård i Wiby tillsammans med modern och ett par syskon (fadern dog 1776). Där föddes barnen Catharina, Eric och Nils.
I mitten på 1780-talet flyttade de troligtvis till en annan gård alldeles i närheten och bodde ensamma där. Här kom Carl och Olof till världen.
I husförhören förekommer bara totalt fem barn, men enligt Nils dödsuppgifter hade han haft 6 barn (5 söner och 1 dotter). Den som saknas är Peter som dog 6 månader gammal och bara finns med i födelse- och dödsböckerna.
Dottern Catharina gifte sig med en son till en anfader i en annan gren inom Viby-släkten.
När sonen Olof sedemera gifte sig (1815), bosatte han sig med sin familj vid föräldrarnas gård. (Olof dog dock före sin mor, och de sista åren bodde Anna tillsammans med sonhustrun och hennes nya man.)
Nils dog av "ålderdomsbräcklighet" vid 72 års ålder och Anna 12 år senare av "förkylning" vid en ålder av 83 år. Endast två av barnen var då fortfarande i livet.