Как-то Елена Боннэр высказалась о Сахарове: «Свое одиночество Андрей переносил хорошо. Он людей переносил плохо». Вероятно, Андрей Сахаров не был коммуникабельным человеком, хотя эта черта характера не мешала ему выступать в защиту инакомыслящих и репрессированных. Но свободолюбивый учёный не заметил, как сам оказался под прессом своей супруги Елены Боннэр. Однажды Сахаров не захотел выступать на съезде.
— Так не выступайте, — посоветовали ему коллеги-депутаты.
— Не могу, жена смотрит, — отреагировал Сахаров и направился к трибуне.
Нельзя отрицать, что Елена Боннэр активизировала общественную деятельность Андрея Дмитриевича. Благодаря её неусыпному руководству, Сахаров стал известной личностью не только в СССР, но и за рубежом. В 1975 году академик был награждён Нобелевской премией Мира «за бесстрашную поддержку фундаментальных принципов мира между народами и за мужественную борьбу со злоупотреблениями властью и любыми формами подавления человеческого достоинства».
Боннэр вспоминала: «Когда же он (Сахаров) пришел в наш дом, то я стала приучать его к тем ценностям, которыми дорожила сама. А самое дорогое у нас — книги да грампластинки». Второй жене удалось многое изменить в привычках и вкусах академика, он стал ей помощником во всех хозяйственных делах, «иногда даже прямо рвал у нее из рук».
С первой женой Клавдией у академика жизнь складывалась по-другому. «Я, к сожалению, в личной жизни (и в отношениях с Клавдией и потом с детьми, после ее смерти) часто уходил от трудных и острых вопросов, в разрешении которых я психологически чувствовал себя бессильным, как бы оберегал себя от этого, выбирал линию наименьшего сопротивления, — подчеркнул Сахаров в своём дневнике. — Потом мучился, чувствовал себя виноватым и делал новые ошибки уже из-за этого… Я, вероятно, мало что мог сделать в этих казавшихся неразрешимыми личных делах, а устраняясь от них, все же смог быть активным в жизни в целом».
После женитьбы на Боннэр Сахаров, беззаветно любивший своих детей, оставил их, и лишь периодически присылал по почте деньги на содержание своего несовершеннолетнего сына Дмитрия. Сын и дочь Боннэр появились в жизни академика, будучи уже взрослыми, но быстро заменили место родных детей и публично представлялись «детьми академика Сахарова». «Я же по душевной слабости не сообщил своим детям о предстоящем бракосочетании — об этом я всегда вспоминаю с самоосуждением, подобное поведение никогда не облегчает жизни», — раскаивался Андрей Дмитриевич, но продолжал отдаляться от своих детей.
14 Августа 2003 года родной сын академика Дмитрий дал интервью «Экспресс газете», в котором впервые рассказал об отношениях с отцом: «Когда умерла мама, мы некоторое время продолжали жить вместе — папа, я и сестры, — рассказывал сын академика. — Но после женитьбы на Боннэр отец ушел от нас, поселившись в квартире мачехи. Таня к тому времени вышла замуж, мне едва исполнилось 15 лет, и родителей мне заменила 23-летняя Люба. С ней вдвоем мы и хозяйничали. В своих воспоминаниях отец пишет, что старшие дочери настраивали меня против него. Это неправда. Просто в дом, где папа жил с Боннэр, меня никто никогда не приглашал. Туда я приходил редко, вконец соскучившись по отцу. А Елена Георгиевна ни на минуту не оставляла нас один на один. Под строгим взором мачехи я не осмеливался говорить о своих мальчишеских проблемах. Было что-то вроде протокола: совместный обед, дежурные вопросы и такие же ответы».