Милева отличалась импульсивным и сложным характером и была склонна к депрессиям, с ней было нелегко. Студенческий период в их отношениях был наполнен светом, но золотые годы постепенно уходили. В свое время она и Альберт мечтали о совместных занятиях наукой, однако преждевременная беременность Милевы не позволила осуществиться этим планам и оборвала многие надежды. В самые тяжелые моменты в Берне супруги вместе противостояли враждебному миру. Милева тонко выразила это в игре слов: «Вместе мы были как камень» (по-немецки ein Stein – «камень»). И хотя амбиции самого Эйнштейна были реализованы, о его жене того же сказать нельзя. «Мне бы хотелось побывать там, послушать немного и посмотреть на всех этих замечательных людей», – писала Милева Альберту, когда тот отправился на научную конференцию в Карлсруэ, а она осталась дома, в Праге. Один из биографов Эйнштейна, который был женат на дочери его второй жены, рассказывал, что Милева всегда стремилась участвовать в научных занятиях своего мужа, однако «он оставлял ее дома с детьми». После десяти лет совместной жизни, в 1912 году, оба чувствовали недовольство своим браком. Милева с каждым днем ощущала себя все более одинокой и непонятой, в то время как Эйнштейн ее просто избегал. Она упрекала его за частые отлучки: «Мы так давно не виделись, что я не уверена, что ты меня узнаешь». В письмах к своей подруге Элен Савич Милева открыто делилась своей тоской: «Он неустанно работает над своими задачами; можно сказать, что он и живет ради этого. Мне стыдно, но я должна тебе признаться, что мы для него на втором месте и ничего не значим».
Действительно, Эйнштейн предпочитал избегать привязанностей. В эссе «Мир, каким я его вижу», написанном с высоты его 50 лет, ученый говорил:
Хотя наука и отнимала у Эйнштейна много времени, он все же не забывает и о личной жизни, правда, сменив объект своего внимания. В пасхальные каникулы 1912 года ученый отправился в Берлин, чтобы навестить мать. Паулина в это время находилась в гостях у своей сестры Фанни, муж которой, Рудольф, принадлежал к другой ветви Эйнштейнов. Его отец приходился дядей Герману, и, кстати, он также потерял значительную сумму, вложив деньги в семейное электротехническое предприятие. Этажом выше Рудольфа и Фанни поселилась их дочь Эльза, которая только что развелась.
Эльза и Альберт познакомились в Мюнхене. Ей нравилось рассказывать, что в детстве она влюбилась в своего двоюродного брата, когда тот играл на скрипке Моцарта. Неизвестно, что послужило в этот раз причиной для возрождения детского чувства, но, так или иначе, это произошло.
Хотя мы и не знаем деталей их встречи, известно, что по возвращении в Прагу Эйнштейн начал тайком флиртовать с Эльзой в письмах. В конечном счете он признавал, что не был таким уж одиночкой: «Я нуждаюсь в том, чтобы любить кого- нибудь, иначе жизнь чересчур печальна. И этот кто-то – Вы». Точнее всего Эльзу можно описать как полную противоположность молчаливой, замкнутой и измученной Милевы: она была веселой и общительной кокеткой, не проявлявшей ни малейшего интереса к науке. Если Эйнштейн задыхался в своих семейных отношениях, то в Эльзе не было ничего, что напоминало бы о них. Однако ученый чувствовал достаточно ответственности перед семьей, поэтому сделал шаг назад: «Если мы уступим нашему взаимному притяжению, мы вызовем только смятение и беду». В конце мая, казалось, он решил резать по живому: «« […] Я пишу Вам в последний раз и покоряюсь неизбежному […]». Однако в этом «последнем» письме Эйнштейн сообщает Эльзе о смене адреса. Перерыв в переписке длился год.
В марте 1913 года Эльза прервала молчание, поздравив Альберта с его тридцать четвертым днем рождения. Он ответил, и переписка возобновилась с новой силой.