«…Эти редкие посещения казались для меня праздником… Все стены, подоконники и места между окнами заставлены прочными красного дерева шкафами. Посреди комнаты параллельно стояли большой письменный стол, покрытый зеленым сукном, и другой высокий стол с помещением для гравюр и альбомов. Посреди комнаты – мраморный камин. Два-три кресла старомодных с высокими спинками, но весьма удобных, составляли все убранство. Стулья, обитые зеленым кожаным сафьяном работы Гамбса, словно застыли на своих местах. Моя мать нередко приходила сюда заниматься. Здесь было сложено много ее вещей, даже шкатулки и ларчики с письмами. Казалось мне, что и после стольких лет она еще жива в этих комнатах, никем почти не посещаемых… Третья комната в одно окно и вся в шкафах заключала в себе ее личную библиотеку. Здесь находились все ее музыкальные коллекции, русская, французская и немецкая литература…»
Корсини переделал также фасад дома и спроектировал ограду, отделившую парадный двор от проезжей части набережной. Она была отлита из чугуна в Германии. Главные ворота ограды венчает великолепный золоченый герб графов Шереметевых. На воротах под гербом, как это было еще при графе Николае Петровиче, помещался образ Богоматери Неопалимой купины, который висел «для предохранения от возможных пожаров».
Переделки коснулись и сада, и многочисленных флигелей. Манеж при моей матери был обновлен, она ездила в нем верхом. Графам Шереметевым принадлежал конный завод. Выращенные там лошади не только обслуживали собственные потребности, но и шли на продажу. В газете «Московские ведомости» в 1828 году было опубликовано объявление о том, что «На Воздвиженке в доме графа Дмитрия Николаевича Шереметева с 11 числа сего января будут продаваться приведенные из принадлежащего Его Сиятельству в Тульской губернии села Серебряных прудов с конского завода жеребчики 4-х и 5-ти лет разных шерстей: рыжие, бурые, гнедые, кораковые, наезжаемые в санях, а кораковые съезжены и четверней. О цене узнать в том же доме у управляющего». «В Фонтанном доме, – вспоминал Сергей Дмитриевич Шереметев, заведена была английская конюшня – уступка моде при Дворе», но подчеркивал, что отец его не терпел англомании.
Граф Дмитрий Николаевич продолжал службу в полку, но в декабре 1838 года покинул полк по не вполне понятным обстоятельствам. Его сын считал, что произошло недоразумение, связанное с предполагаемой командировкой отца в Архангельск: «…Переговоры с военным министром Чернышевым – неудачная и неточная передача слов, гнев Николая Павловича и отставка отца, которую Николай Павлович никогда не мог ему простить». Граф Шереметев был не только крайне застенчивым, но, в то же время, – крайне самолюбивым и вспыльчивым человеком. Покинув военную службу, он продолжал служить по гражданскому ведомству. Как попечитель учебных заведений он регулярно объезжал гимназии и училища, в случае острой необходимости оказывал учебным заведениям материальную поддержку. Свидетельством его помощи делам образования является избрание его в 1843 году почетным членом Санкт-Петербургского университета. Диплом на это звание, подписанное ректором Университета П.А. Плетневым, хранится в шереметевском фонде в РГИА.
Графиня Анна Сергеевна с 1838 года стала членом Императорского женского патриотического общества, первой женской организации в России, основанной в 1812 году с целью помочь тем семьям из народа, которые пострадали от военного лихолетья. Позже это общество занималось разными формами благотворительности, патронировало народное образование. Графиня Анна Сергеевна Шереметева с 1838 по 1846 год исполняла обязанности попечительницы школы этого общества в Нарвской части Санкт-Петербурга. Ее помощницей была ее невестка Варвара Павловна Шереметева, жена брата Василия Сергеевича.
Фонтанный дом в конце 1830-х и в 1840-х годах стал одним из великосветских центров Петербурга. Графиня Анна Сергеевна устраивала в Фонтанном доме вечера, на которых присутствовали, кроме приглашенных гостей из высшего общества, иностранных дипломатов и путешественников, многие русские и зарубежные музыканты. Ее сын граф Сергей Дмитриевич писал об этом времени: «…Музыка сблизила ее со знаменитою Зонтаг, тогда уже графинею Росси, часто посещавшей ее музыкальные вечера. Приезжие артисты, знаменитости 40-х годов, находили всегда гостеприимный приют у моей матери. Рубини,… пианисты Тальберг, Делер, Лист были ее гостями».
Знаменитый венгерский композитор и пианист Ференц Лист бывал с концертами в России неоднократно, в Петербурге давал концерты в 1842 и 1843 годах. Известно, что он со слезами на глазах слушал пение Капеллы под управлением Ломакина в большой Галерее. Теодор Делер, который сочинял музыку для шереметевской Капеллы, в 1846 году женился на младшей сестре графини Елизавете Сергеевне Шереметевой. Рубини поднес графине свой бюст (хранившийся в Фонтанном доме до 1931 года).