Carl Johan lämnade fadern och flyttade till Ringarums församling efter moderns död. Han kom sedan tillbaka hem igen, men återvände på nytt till Ringarum i slutet på 90-talet.