Elisabeth Victorias mor dog när hon var bara 8 år gammal. Hon var utomäktenskaplig, och efter moderns död bodde hon kvar hos sin farfar som hon och modern redan tidigare bott tillsammans med.