В дневнике Леонтия Васильевича Дубельта, начальника Третьего отделения Собственной Его Императорского Величества канцелярии и шефа жандармов, который по долгу службы точно знал обо всем, что происходило в обеих столицах и докладывал о наиболее значительных событиях и происшествиях государю, имеется такая запись: «1852. Апрель 1. Был приезд дамам в Зимний дворец для принесения поздравления Государыне Императрицы. Обнаружено, что граф Дмитрий Николаевич Шереметев имеет преступную связь с сестрою покойной его жены, девицею Варварою Сергеевною Шереметевою. Ведя жизнь нетрезвую, она предложила графу Шереметеву учредить школу для девиц дворянского и духовного происхождения под названием Анненской школы, в память графини. Граф Шереметев учредил эту школу под своим и ее начальством. 11 марта смотрительница той школы Юрьева жаловалась Варваре Сергеевне Шереметевой на леность воспитанниц 4-го класса. Шереметева приехала в заведение и сказала, что хочет расправиться с негодяйками. Когда высекли розгами весь 4-й класс, Юрьева сказала ей: „Накажите кстати 3-й, 2-й и 1-й классы“. Разгоряченная вином Шереметева пришла в ярость, выхватила розги у няньки и начала собственноручно наказывать. Не достало розог, послали в сад за прутьями акаций, секли попеременно, то она, то нянька. Наказано было около ста воспитанниц. Со многими от страха сделался обморок; девушки падали, а Шереметева говорила, что они притворяются. Смотрительница Юрьева не только не удерживала ее, но еще подстрекала. Ненаказанных осталось сорок девиц, которых наказание было отложено до следующего дня. Школу повелено закрыть, а граф Шереметев предложил всех девиц разместить по разным заведениям для окончания их воспитания на его счет и сверх того предложил вносить сумму на воспитание 20-ти девиц в учебных заведениях, состоящих под покровительством Государыни Императрицы. Это пожертвование принято. Варваре Сергеевне Шереметевой приказано выехать из дома графа Шереметева и жить при матери с тем, что ежели будет продолжать связь с графом, то ее заключат в монастырь. Графу Шереметеву предложено выехать из Москвы в Петербург, жить здесь и заниматься воспитанием своего сына».
Он вернулся в Фонтанный дом в конце весны 1852 года. В дневнике Леонтия Дубельта 19 декабря 1852 года появилась такая запись: «Сын графа Дмитрия Николаевича Шереметева, восьмилетний мальчик, очень болен, так что мало надежды к его выздоровлению. Жаль, это единственный наследник огромного имения. Отец его не подходит к его кровати, а сдалека беспрерывно его благословляет и перед образами молится за него Богу. Странный человек граф Шереметев: Государыня Императрица, узнав о болезни его сына, два раза приезжала к подъезду его дома и с подробностию расспрашивала о здоровье малютки; отец не выходил к Ея Величеству и давал ответы через прислугу и даже не ездил благодарить Государыню! Он никого не принимает, ни к кому не ездит и проводит время в обществе своих кучеров и лакеев!..» Сколько в этих словах истины и сколько раздражения против «неприличного» поведения человека, совсем недавно вызвавшего гнев государя, – Бог весть!
6 января 1853 года граф получил пакет из Зимнего дворца, в котором находился именной рескрипт императрицы следующего содержания: «Граф Дмитрий Николаевич! Московское отделение Главного совета женских учебных заведений довело до Моего сведения о сделанном вами пожертвовании более ста тысяч рублей серебром, для употребления процентов с этого капитала на постоянное содержание 20 воспитанниц в Московских училищах: ордена Св. Екатерины и Елисаветинском. Видя в приношении вашем особенное усердие к пользе состоящих под покровительством Моим заведений, где таким образом значительному числу доставятся навсегда средства к их образованию, Я приятнейшим долгом поставлю изъявить вам за сей подвиг благотворения совершенную Мою признательность и удовольствие. Пребываю впрочем к вам благосклонною. Александра. В Санкт-Петербурге января 14 дня 1853 года».
Тогда граф Дмитрий Николаевич жил очень замкнуто. В последние годы царствования Николая I он, имея придворное звание, при Дворе не появлялся – государь все не мог простить ему московские «прегрешения».
После своего восшествия на престол Александр II пригласил во дворец бывших при отце флигель-адъютантов, и граф Дмитрий Николаевич не мог не принять такого приглашения. Все присутствовавшие на встрече получили на память фотографическую карточку императора Александра с надписью «Старому товарищу». Эта фотография всегда висела на стене кабинета графа Дмитрия Николаевича в Фонтанном доме. Позже изредка он бывал на приемах, в основном в Петергофе, который любил больше других царских резиденций.