При всем его мощном складе ума, стремлении решать российские и мировые социальные и научные проблемы, он не смог создать достойные условия для жизни своей семьи, а возможно, и не слишком думал о «мелких» проблемах отдельной семьи, берег себя для обмозгования глобальных вопросов. В его с Н.И. Герцен (Захарьиной) браке было 9 детей, причем пятеро из них умерли в раннем детстве. Все их бытовые проблемы приходилось в большой мере решать его жене, которая устала от такой жизни и в начале 1850х гг. увлеклась немецким поэтом и политическим деятелем Георгом Гервегом и хотела уйти к нему от Герцена. В это время высланный из Парижа Герцен, его жена и сын Александр жили в Ницце, где они и познакомились с приехавшими супругами Гервегами. Герцен не сразу, но все же догадался, что отношения Г. Гервега к его жене переходят дружеские, а она сочувствует его милым страданиям и нешуточно увлечена им. В 1849 г. Герцены переселились в Швецарию. Хотя в 1850 г. у них родилась дочь Ольга и отношения в семье более-менее нормализовались, а с Г. Гервегом больше личных встреч не было, он вел себя недостойно по отношению к их семье. Например, он клеветал на несчастную и больную Наталью Александровну, что вело к новым осложнениям в семье Герценых. В этот период в Ницце на их семью обрушилось новое непоправимое горе. В 39 лет Герцен и его семья пережили (1852) гибель во время кораблекрушения его 56летней матери и их младшего 8летнего глухонемого сына Николая.