Его письма 1850 и первые разговоры в Ницце служат страшным обличительным документом… чего? Обмана, коварства, лжи? Нет; да это было бы и не ново, — а той слабодушной двойственности, в которой я много раз обвинял западного человека. Перебирая часто все подробности печальной драмы нашей, я всегда останавливался с изумлением, как этот человек ни разу, ни одним словом
Некоторое время Герцены и Гервег с женой пытались жить совместно, однако этот опыт закончился скандальным разрывом. Остаётся неизвестным, кто же был настоящим отцом Ольги Герцен, дочери Натальи Александровны (Ольга скончалась в 1953 году в возрасте 103 лет — удивительная и интересная судьба). Семейное дело Герценов стало вопросом новой морали, имевшим общественное значение, и широко обсуждалось в кругах европейских радикалов. В результате жена Герцена осталась с ним, однако для всех участников эта семейная драма стала тяжелейшим переживанием. Вскоре после этого, в 1851 году, сын и мать Александра Ивановича погибли в кораблекрушении. В главе «Oceano Nox» («Ночь на океане»; название взято из цитируемого в главе стихотворения Виктора Гюго) Герцен подробно описывает момент, когда до него дошла весть об этой беде; на страницах «Былого и дум» она много раз предвосхищается в отступлениях; по всей эпопее проходят постоянные упоминания моря как чего-то непостижимого и опасного. После этого Наталья Александровна тяжело заболела и умерла в преждевременных родах; ребёнок также не выжил.
Все эти события потрясли Герцена. Жена была не только спутницей жизни, с которой он прошёл вторую ссылку и эмигрантские годы, — она была ещё и единомышленницей (по крайней мере, так казалось самому Герцену), одним из немногих людей, которым Герцен доверял абсолютно. С её потерей в жизни Герцена начался серьёзнейший кризис. Собственная биография требовала переосмысления: Герцену отчаянно нужно было найти в прошлом новый источник сил для будущей жизни. Об эпохе общественных и личных потрясений он пишет:
Теперь я уже и не жду ничего, ничто после виденного и испытанного мною не удивит меня особенно и не обрадует глубоко: удивление и радость обузданы воспоминаниями былого, страхом будущего. Почти всё стало мне безразлично, и я равно не желаю ни завтра умереть, ни очень долго жить; пускай себе конец придёт так же случайно и бессмысленно, как начало.
А ведь я нашёл всё, чего искал, даже признание со стороны старого, себядовольного мира — да рядом с этим утрату всех верований, всех благ, предательство, коварные удары из-за угла и вообще такое нравственное растление, о котором вы не имеете и понятия.
Трудно, очень трудно мне начать эту часть рассказа; отступая от неё, я написал три предшествующие части, но, наконец, мы с нею лицом к лицу. В сторону слабость: кто мог пережить, тот должен иметь силу помнить.