愛因斯坦的第一任妻子是米列娃；米列娃是一個相當聰明的人，在當年進入蘇黎世聯邦理工學院學習理論物理的學生共有5個，而米列娃是唯一的一個女生。她是愛因斯坦的同班同學，她獨特的氣質深深地吸引了愛因斯坦，兩人很快就墜入了愛河，開展了他們的姐弟戀。

1903年愛因斯坦和米列娃正式結婚。起初，愛因斯坦是非常愛他的這個妻子的，但愛因斯坦並不是一個衷情的人。1911年，愛因斯坦到了柏林以後，重逢了他的表姐愛爾莎，並和這位青梅竹馬的表姐舊情復燃。墜入愛河的愛因斯坦，很快就厭倦了他的妻子米列娃；

1919年，愛因斯坦跟米列娃提出離婚，並且承諾了一個當時並不存在的而且顯得有點荒誕的諾言——把諾貝爾獎學金全部給米列娃，而當時他並沒有獲得諾貝爾獎；不過，1921年，愛因斯坦果然得了諾貝爾獎，他也遵守這個承諾，把諾貝爾獎金給了他的前妻米列娃。

愛因斯坦離婚後，跟他的表姐結婚了，兩人如願以償，但他們並沒有就此開啟幸福美滿的人生。他是這樣評價這次婚姻的：“這是一次不成功的婚姻，由於某種偶然維持了下來。但愛爾莎對物理學一竅不通，而米列娃才能在學術上幫助我。”後來愛因斯坦又開始了他感情上面的不忠誠，身邊桃色緋聞絡繹不絕；

果然，妻不如妾，妾不如偷，愛因斯坦也沒有能夠逃過這個古老的咒語；

十分幸運的是，與愛因斯坦接觸過的女人，對他都是死心塌地的。在他的妻子去世之後，他的生活起居一直靠養女馬格特·露文塔爾和長期在他身邊工作的女秘書赫冷娜·杜卡斯照料，直到他1955年去世。