Рьяное толстовство мужа переносилось Анной Петровной тяжело. Строгий нравственный кодекс Николая Николаевича она называла фантазиями и ссорилась с ним из-за куста роз под её окнами, вместо которого, по мнению Ге, следовало вырастить что-то более нужное людям, например, картофель. «Моя барыня не желает жить просто», – полушутя-полусерьёзно жаловался Ге своему идейному вдохновителю.
В своих воспоминаниях Софья Андреевна Толстая оставила несколько строк о жене художника: «…маленького роста, белокурая и некрасивая женщина… с большой головой и приятной улыбкой. Она как-то покровительственно относилась к мужу, подчёркивая его легкомыслие, рассеянность, и более похоже было, что она его мать, чем жена…» И несмотря на то, что, по мнению графини Толстой, «совсем не грациозная натура» Анны Петровны не слишком соответствовала роли супруги живописца, Ге очень ценил мнение своей строгой в суждениях жены, прислушиваясь к её оценкам даже в вопросах творчества. Впрочем, по словам невестки художника Екатерины Ивановны, «Николай Николаевич был слишком оригинальная личность, чтобы подчиняться умственно и нравственно». Екатерина Ивановна приходилась Анне Петровне племянницей и, стало быть, кузиной её сыновьям. На хуторе Ге все симпатизировали добросердечной девушке, а художник сделал её моделью для своей картины «Милосердие». Позировал тогда отцу и его младший сын – Пётр. Так началась история любви двоих, связанных друг с другом узами родства. Получив через некоторое время благословение на брак, Пётр, не разделявший толстовских взглядов отца, вместе с молодой женой покинул хутор Ивановский, но часто навещал отчий дом, позднее уже вместе с детьми.
Лев Толстой тем временем не уставал восхищаться искренностью и преданностью своего последователя – художника Николая Ге. «Его разговоры, в особенности об искусстве, – сообщал писатель, – были драгоценны… Особенная черта его была необыкновенно живой, блестящий ум и часто удивительно сильная форма выражения. Всё это он швырял в разговорах».
Можно себе представить, с каким душевным трепетом Николай Николаевич в 1884 году создавал портрет великого писателя. По словам художника, он постарался передать «всё, что есть самого драгоценного в этом удивительном человеке». Пиетет живописца перед моделью сказался на результате. Но даже этот превосходный портрет, фокусирующий внимание зрителей на созидательном начале писателя-труженика, критика нашла в чём обвинить, на этот раз – в чрезмерной будничности трактовки образа. Но Ге прекрасно знал цену своим возможностям портретиста, что подтверждает родившаяся за «Толстым» целая серия изображений людей, писанных по велению сердца живописца.
Примерно в то же время ссылку в Сибирь для племянницы художника – Зои Григорьевны Ге – заменили поселением на хуторе Ивановском. Николай Николаевич взял родственницу на поруки под залог своего имения. На следующем витке судьбы Зоя – кузина Николая Ге-младшего – станет его женой, а пока старший сын художника, недолго поучившись в Академии художеств, переехал затем в Париж, записался в Сорбонну, но учёбу пришлось прервать. Ввиду болезни матери Николай вернулся к родным. Вскоре после поступления на юридический факультет Киевского университета он заразился толстовскими идеями, бросил университет и поселился в Ивановском. Часто бывая в Ясной Поляне, Николай Ге-младший некоторое время вёл издательские дела Толстого, помогал ему в сборе пожертвований голодающим. Близость к народу обернулась для Николая Ге-младшего гражданским браком с крестьянкой, подарившей ему дочь Прасковью. Девочку ласково называли Парасей, и когда, «увлекшись кем-то из интеллигентных женщин», её отец на время оставил свою невенчанную жену, Парася росла в доме художника. Дед баловал внучку, она часто бывала в его мастерской, а живописец давал ей кисть, шутя предлагая помочь. Позже мать Параси родила от Николая Ге-младшего ещё двоих сыновей – Ивана и Николая.
Хутор Ивановский считали своим домом и брат художника – Осип Николаевич, и кузина Анны Петровны – Александрина. В 1886 году хозяин хутора принял решение отказаться от собственности в пользу жены. За собой он оставил только три комнатки с отдельным входом. Понимая свою ответственность перед супругой, Николай Николаевич предложил младшему сыну Петру стать арендатором имения для ведения хозяйства и получения прибыли.