Hans farfar, Julius Isak Lippmann, blev født i København i 1848 udenfor ægteskab af en datter af en jødisk tøjmagermester og en sproglærer fra Altona; Julius Isak blev sat i lære hos det københavnske manufakturhandlerfirma Simonsen & Weels Eftf., som var grundlagt i 1817, og som han i 1888 overtog som eneejer.