Hilma var i sin barndom "Å Thunellska stiftelsens medel utaccorderad" då fadern inte kunde ta hand om alla barnen efter hustruns död. Husförhöret därifrån säger att hon då var fosterdotter hos Sven Peter Olsson och hans hustru i Ledja.
Hon kom hem till fadern och syskonen sommaren 1909 och födde ett par månader senare en liten dotter som anges vara född i Flymens församling. Hon bodde sedan tillsammans med fadern till dennes död 1918 och anges samtidigt ha varit hushållerska hos Karl August Johannesson Utelämnad text.