Один наблюдательный иностранец писал о крепостных мастерах: «Многие русские художники, рожденные во славу своему Отечеству …кончали тем, что меняли культ муз на культ Бахуса, из храма Аполлона отправлялись в кабак». Талантливые крепостные мастера были востребованы и внесли огромный вклад в развитие многих областей искусства, но психологически они страдали от ощущения несвободы и оттого приходили «в храм Бахуса», сходили с ума, рано умирали от болезней.
Бывали случаи, когда граф Дмитрий Николаевич отпускал своих людей на волю. Так, в 1818 году был освобожден от крепостной зависимости художник-миниатюрист и акварелист Михаил Зацепин (ученик Ивана Аргунова) и некоторые другие.
Варвара Петровна Шереметева записала в своем дневнике: «…При всем этом говорят, он чрезвычайно добр, более чем на 100 000 рублей у него пенсий, много детей воспитывается на его счет, я нахожу его несчастным, но такова уже судьба этого человека!»
О его доброте и чувстве сострадания свидетельствует и такой его поступок. В 1824 году по его приглашению в больничном флигеле Фонтанного доме поселился доктор Кавалергардского полка Рейнгольд «для пользования его служителей», ему платили за эту работу 3 тысячи рублей в год. В 1830 году, во время эпидемии холеры, граф Дмитрий Николаевич предоставил свой дом в Москве на Воздвиженке для «призрения бедных» и за свой счет обеспечивал их содержание. Особым письмом на имя главнокомандующего Москвы князя Дмитрия Голицына граф Шереметев писал, что благодарит «…за великую честь и удовольствие», которых он удостоен от московских властей, приобщивших и его «к числу соотчичей, подающих в столь тяжкую годину помощь страждущему человечеству».
Граф Д.Н. Шереметев тратил значительные суммы на выплату пенсий разным людям – родственникам, служащим и членам их семей или просто тем, кто сумел убедить графа в своем бедственном положении. Кто-то получал помощь деньгами, кто-то пользовался бесплатным жильем в московских и петербургских домах, кого-то он соглашался принять вне очереди в одну из шереметевских богаделен.
В 1835 году случилась история, которая стала широко известна в России и отчасти проливает свет на внутрисемейные отношения между графом Шереметевым и Уваровыми. В конце этого года в петербургских великосветских гостиных заговорили о новой сатире «На выздоровление Лукулла», написанной поэтом Александром Пушкиным.
Хотя при публикации автор и сделал подзаголовок «Подражание латинскому», но многие знали, что истинным «героем» памфлета был Сергей Семенович Уваров, министр народного просвещения и ярый враг поэта, примкнувший к тем, кто уже начал травлю Пушкина. Будучи председателем Главного управления цензуры, Уваров в журнале «Сын Отечества» позволил себе резко раскритиковать только что вышедшую из печати «Историю Пугачевского бунта», которая так много значила для Пушкина. Уваров назвал пушкинское сочинение «мертворожденное дитя». В Дневнике поэта в одной из записей за февраль 1835 года читаем: «…Уваров большой подлец. Он кричит о моей книге как о возмутительном сочинении… Кстати об Уварове: это большой негодяй и шарлатан. Разврат его известен. Низость до того доходит, что он у детей Канкрина на посылках. Об нем сказали, что он начал тем, что был б.., потом нянькой, и попал в Президенты Академии наук. Он крал казенные дрова,… казенных слесарей употреблял в собственную работу». Эта характеристика через полгода перейдет в памфлет «На выздоровление Лукулла».