Hij heeft zes kinderen uit zijn eerste huwelijk met Janna Oldendorp. Nadat zij in 1868 overlijdt hertrouwd hij met Albertje Sinnema. Er worden geen kinderen geboren tijdens dit tweede huwelijk. De tweede vrouw van Hans Johan nam waarschijnlijk uit een vorige huwelijk een zoon mee. Hij heette Tjabel H. van der Voon en was geboren op 01 06 1857 in Wolvega. Zij kwamen in 10 1870 uit Sonnega.

Zie ook de stamboom van de familie Walrabenstein en de bijbehorende beschrijving.