Неоднократно бывала в Фонтанном доме Прасковья Арсеньевна Бартенева, фрейлина императрицы, замечательная певица-любительница, ее с графиней Анной Сергеевной связывали общее прошлое при дворе и дружеские отношения после замужества Анны. Гавриил Якимович Ломакин, руководитель шереметевской Капеллы, вспоминал: «…Прасковья Арсеньевна Бартенева, наша русская певица, будучи весьма дружна с графинею Шереметевою, не пропускала ни одного домашнего концерта графа и сама певала здесь».
Бывал в ее салоне и Борис Сергеевич Шереметев, младший брат хозяйки Фонтанного дома, по окончании Пажеского корпуса он поступил в Преображенский полк. Борис Сергеевич также очень любил музыку и получил известность как композитор-любитель. Позже, в 1850 – 1870-х годах, он написал музыку на стихи Пушкина «Я вас любил», на слова Тютчева «Еще томлюсь тоской желаний», графа А. Толстого «Средь шумного бала», которые до наших дней являются очень популярными романсами.
Граф С.Д. Шереметев, который знал о событиях в доме во времена своей матери со слов близких, писал: «Желтая гостиная памятна как музыкальная комната, в которой пели Зонтаг и Рубини, позднее Frezzolini, но чаще всего музыкальные вечера бывали в большой белой зале, здесь же бывали и духовые концерты, и всегда стояло фортепьяно..».
В 1846 году супруги Шереметевы избираются почетными членами Санкт-Петербургского филармонического общества. Оно было основано в 1802 году любителями музыки и занималось благотворительной и музыкально-просветительской деятельностью. Многие любители музыки, в том числе и супруги Шереметевы, сочувствуя задачам общества, оказывали ему значительную материальную поддержку.
Графиня Анна Сергеевна мечтала о путешествии по Европе, о знакомстве с европейской музыкальной культурой. Осенью 1842 года она вместе с маленьким сыном Николаем и сестрой Елизаветой Сергеевной отправилась в Париж. Во время своего путешествия обе сестры вели дневник, записи в нем делались на французском языке; эти дневники в настоящее время хранятся в Центральном государственном архиве литературы и искусства в Москве. Елизавета Сергеевна мечтала брать уроки игры на фортепьяно у знаменитого Шопена. Композитор и пианист имел множество учеников, в том числе и русских. Сестры познакомились с Шопеном 28 октября 1842 года, когда он пришел на урок с баронессой Марией Крюденер. Анна Сергеевна записала в этот день: «…В четыре пришел Шопен на свой первый урок с Мари. Интересная личность. Он остался до пяти часов. Прелестный метод для быстрых этюдов». После завершения уроков с баронессой Крюденер композитор нашел время и для Елизаветы Шереметевой, но всего на несколько занятий – в течение двух недель. Судя по записям графини Анны Серге евны, первый урок Шопена с Елизаветой состоялся в ее присутствии 16 ноября (4 декабря по европейскому стилю). Елизавета Сергеевна была счастлива. Запись в ее дневнике от 30 декабря (11 января 1843 года) гласит: «…Пришел Шопен и сделал набросок в альбом Аннет, потом она пела. У меня был урок. Он сказал, что очень огорчен, что не может продолжать уроки. Я тоже по-настоящему огорчена этим». Нотный набросок Шопена в дневнике графини Шереметевой хранился в Фонтанном доме среди бумаг графини, впервые был опуб ликован ее сыном и переиздавался в 1949 году. Из Парижа сестры отправились в Италию, где посещали оперу и слушали итальянских музыкантов.
Граф Сергей Дмитриевич в своем очерке о матери и своем брате, упоминая об этом путешествии, особо отметил: «Обратный их путь из-за границы шел через Почаевскую лавру и на Киев… мать моя испытала на себе привет Киевского митрополита Филарета…» Позже она переписывалась с этим известным религиозным деятелем Русской православной церкви.
Граф Дмитрий Николаевич не сопровождал жену и свояченицу, поскольку не любил путешествий. Осенью 1843 года он встретил жену и сына в Москве.
По возвращении из путешествия на семейство обрушилось страшное горе – в Москве их сын заболел скарлатиной и 20 октября 1843 года скончался. Чувства, которые испытывала несчастная мать, запечатлены в ее письмах к близким и в письмах к ней, которые опубликовал ее второй сын граф Сергей Дмитриевич в очерке «Старший брат».
14 ноября 1844 года в Фонтанном доме у супругов родился второй сын, названный Сергеем в честь Сергея Васильевича Шереметева, отца графини Анны Сергеевны. В графской семье это была ненарушаемая традиция – давать детям имена в память предков.