Ответная эпиграмма Ф. И. Толстого приводит к тому, что все время южной ссылки и жизни в Михайловском Пушкин готовится к дуэли и, едва добравшись до Москвы, в день приезда поручает одному из друзей передать вызов „Американцу“. По счастью, Толстого не оказывается дома, и былых приятелей удается помирить. Восстановленная дружба приводит к тому, что Пушкин поручает „Американцу“ сватовство к Н. Н. Гончаровой, приглашает его на дружеские пирушки, на чтение „Полтавы“. После встречи с А. П. Ермоловым он пишет свату: „Я нашел в нем разительное сходство с тобою“. А Толстой почти одновременно отзывается в письме П. А. Вяземскому: „Пушкин с его страстью к картам и нежностью к Гончаровой — для меня погиб“.
Рядом с колебаниями Пушкина отзывы тех, кто неизменно сохранял дружеские отношения с „Американцем“, П. А. Вяземский берет Толстого под защиту в письме к А. И. Тургеневу. Суровый в оценке людей А. И. Герцен отзовется о нем с подчеркнутой почтительностью: „Я лично знал Толстого и именно в ту эпоху, когда он лишился своей дочери Сарры, необыкновенной девушки с высоким поэтическим даром“. В „несуразном характере“, по выражению москвичей, Толстого было жениться на таборной цыганке и ввести ее хозяйкой в знаменитый дом на углу Староконюшенного переулка и Сивцева Вражка. Но в его характере — а этого многие из современников не замечали за эксцентричностью поступков — было и дать обеим дочерям от графини-цыганки превосходное образование. Сарра Толстая считалась очень хорошей музыкантшей. Она увлекалась Моцартом, Бетховеном, но хорошо знала и русскую народную музыку. „Поэтический дар“, о котором говорит А. И. Герцен, позволяет ей писать стихи на немецком и английском языках. Только с помощью переводчика М. Н. Лихонина они стали известны через год после смерти поэтессы в русском издании.
В доме „Американца“ и особенно в его родовом сельце Глебове Звенигородского уезда всегда гостят литераторы и артисты. Толстой принимает посильное участие в трагической судьбе композитора А. А. Алябьева, несправедливо обвиненного в нечестной карточной игре и убийстве своего партнера майора Времева. Толстой утверждал, что игра была самая честная, но несчастливая, поскольку все связали достигший шестидесяти тысяч рублей проигрыш майора с его скорой кончиной, хотя произошла эта смерть от апоплексии и притом не в доме А. А. Алябьева, а спустя несколько дней, на первой от Москвы почтовой станции.
По возвращении из ссылки композитор посвятил один из своих романсов второй дочери „Американца“ — Прасковье, жене московского губернатора В. А. Перфильева, в чьем доме постоянно бывал и останавливался Л. Н. Толстой. В перфильевском доме хранился и портрет М. И. Лопухиной, увиденный здесь поэтом Я. А. Полонским и вызвавший посвященные произведению Боровиковского строки. Поэт так и назвал их — „К портрету Лопухиной“:
Лопухиной-Толстой на портрете еще далеко до первой любви, до первых разочарований и сердечных ран. Все же она во многом напоминает брата — в независимости нрава, безразличии к чужим суждениям, в интересе к музыке и литературе, в самом выборе мужа, наконец. Возникшая в нашем веке, несомненно под впечатлением Полонского, версия о неудачном замужестве М. И. Лопухиной не находит подтверждений в фамильных архивах. Зато известно, что молодую графиню увлекает образ опальной царицы Евдокии, с входившей в эту ветвь рода Лопухиных, ее преданного мучительной казни брата Аврама Федоровича, ярого противника Петра и покровителя царевича Алексея, чье достаточно необычное имя передавалось из поколения в поколение и жило в имени и отчестве ее мужа. Семейные легенды рассказывали о паломничестве супруги егермейстера в Петровско-Разумовское, находившееся в роду Лопухиных со времен отца опальной царицы и помнившее недолгие счастливые дни первого супружества Петра. В этом „графине Маше“ нетрудно было найти общий язык с „Американцем“.