Осенью 1842 года она вместе с маленьким сыном Николаем и сестрой Елизаветой Сергеевной отправилась в Париж – Елизавета Сергеевна мечтала брать уроки игры на фортепьяно у знаменитого Шопена. Сестры познакомились с композитором, обе пели для него, Елизавета взяла несколько уроков. Шопен был так поражен красотой и талантом Анны, что тут же сделал набросок мелодии в ее нотной тетради – мелодии, которая потом стала носить название «Листок из альбома». Листок этот, на котором великий композитор написал посвященную Анне мелодию, долго потом хранился среди бумаг Шереметевых.
Из Парижа сестры отправились в Италию, где посещали оперу и слушали итальянских музыкантов, а затем вернулись в Россию, где их встретил Дмитрий Николаевич.
Но уже в начале 1843 годов в семье Шереметевых случилось несчастье: умер от скарлатины их единственный и горячо любимый сын четырех лет от роду. Анна долго не могла прийти в себя и оправилась от своего горя только с рождением второго ребенка. 1844 года в Фонтанном доме у супругов родился второй сын. В графской семье была традиция – давать детям имена в честь кого-то из предков, и мальчика назвали Сергеем в честь Сергея Васильевича Шереметева, отца графини Анны Сергеевны.
Лето семья обычно проводила в Кусково, которое Анна любила больше всех других Шереметевских усадеб. И именно в Кусково ей суждено было умереть – летом 1849 года она простудилась и угасла буквально за несколько дней. Ей было всего 38 лет.
Тут же поползли слухи, что молодая женщина была отравлена бульоном, который в тот день подавали к столу.
Кто-то из завистников графа отравил его жену, – шептались при дворе. – Подкупил повара или кого-то из слуг, чтобы те подсыпали отраву в бульон. Она только съела ложку – сразу почернела и упала замертво.
Но врагов у графини не было – просто некому было совершить такое преступление.
После смерти жены граф остался жить в Москве. Он заперся в своем доме и не выходил оттуда целыми днями, проводя время перед портретом жены. Через лакея он отдавал указания касательно воспитания сына.
Через некоторое время поползли слухи, будто он состоит в связи с сестрой покойной жены, девицей Варварой Сергеевной Шереметевой. Ее и правда слишком часто видели в его доме, притом пьяной, она отличалась эксцентричными выходками и однажды собственноручно высекла всех учениц школы, которая находилась под ее патронатом. Когда об этом узнал император, он приказал ей немедленно убраться из Шереметевского дома под угрозой заключения в монастырь, а самому Шереметеву велел приехать в Петербург и заниматься воспитанием сына.
В Петербурге Шереметев жил очень замкнуто, при дворе не появлялся, не общался даже с собственным сыном, а все время проводил в обществе своих кучеров и лакеев. Чтобы не обижать императорскую семью и влиятельных знакомых, он подговорил швейцаров во всех дворцах, и те приносили ему на дом книги, в которых обычно расписывались посетители. Таким образом, сидя безвылазно дома, Шереметев создал иллюзию того, что периодически выезжает с визитами.
В 1857 году граф Дмитрий Николаевич вступил во второй брак, обвенчавшись с Александрой Григорьевной Мельниковой, которая была приятельницей его любовницы Варвары. Невеста была моложе жениха на 22 года, однако к моменту заключения брака уже считалась старой девой. Граф хотел, чтобы у его сына была мать, но сделал не лучший выбор.
Свадьба состоялась очень тихо и скромно, и первое время такой же тихой была и жизнь супругов, но затем Александра Григорьевна поняла, что ее мужа, человека доверчивого и непрактичного, попросту обкрадывают, и что некоторых служащих надо срочно удалить. Она посчитала первым своим долгом освободиться от запутавших его управляющих и людей, злоупотреблявших доверием. Кроме того, став графиней Шереметевой, Анна Григорьевна стремилась всячески подчеркнуть свой новый, более высокий социальный статус. Это проявлялось, например, в том, как она занималась благотворительностью. Если граф предпочитал делать добро так, чтобы как можно меньше публики это видело, она, напротив, стремилась к наибольшей публичности.
Графа эти новые порядки в доме и его жизни раздражали, но неуемная жажда деятельности не покинула его жену даже с рождением сына Александра, крестным которого стал сам император.
Однако вскоре случились перемены гораздо более глобальные и болезненные для графа – освобождение крестьян.