1890-09-24 fick Hilma en utomäktenskaplig son vid namn Gerhard som dock dog vid födseln. Fadern hette Simon Gustafsson.

Emil och Hilma gifte sig 1896-04-04 och fick några månader senare en son som också han dog vid födseln.
De bodde i början i Regna församling men flyttade snart till Haddebo i Svennevads församling där Emil arbetade som verkstads- och gjuteriarbetare.

Efter ytterligare tre barn med Emil, lämnade Hilma familjen och flyttade med trädgårdsmästaren Karl Axel Teodor Öhman till Sörmland. Skilsmässan registrerades 1907. I församlingsboken i Tjällmo 1920, noteras att Emil är "Skild från sin hustru Hilma Charlotta Jansson[!] genom skiljebr. på grund av hustruns otrohet.".
Dottern Gunhild följde med Hilma (och använde senare Öhman som efernamn) medan Greta stannade kvar hos fadern.

Emil fick några år senare en son, Thor[e] [Emil Eugen] Regn (1909-10-09 - 1987-12-25), tillsammans med Eulalia Florentina Henrietta Friman (1881-05-28 - 1966-06-02) men gifte sig aldrig med henne. Sonen kom att bo tillsammans med Emil och dennes döttrar, medan fr. Friman senare gifte sig och bildade familj på annat håll.

1919 flyttade Emil och barnen från Haddebo till Lämneå i Tjällmo församling.