Людей этого образа мыслей и времени принято называть консерваторами; по выражению русского философа и общественного деятеля начала XX века князя С.Е. Трубецкого, это была своего рода «партия консервативного романтизма». Некоторые его современники, такие как граф С.Ю. Витте, принадлежавшие к другому поколению и исповедовавшие другие идеи, называли графа Шереметева архиконсерватором и реакционером.
Сам же граф С.Д. Шереметев истово верил, что он честно исполняет свой долг, продолжая «старинную родовую традицию верной службы престолу и Отечеству в духе русских начал», как в общественном служении, так и в своей частной жизни.
«Человек с „зайчиком“»
Граф Сергей Дмитриевич Шереметев был человеком с очень непростым характером, о чем свидетельствуют многочисленные воспоминания тех, кто его знал.
С.Ю. Витте написал о нем в своих мемуарах: «…Я и моя жена были в хороших отношениях с графом С.Д. Шереметевым… Я с ним особенно сблизился через Сипягина, который был женат на сестре жены Шереметева. Когда я был министром финансов, Шереметев обращался ко мне с различными просьбами. После смерти (убийства) Сипягина это событие еще более сблизило семейство графа Шереметева с моим и меня с графом Шереметевым. Я, как и все знакомые с графом, знали, что он человек не совсем нормальный, человек с так называемым „зайчиком“, но все считали его за человека благороднейшего, рыцаря».
Петербургский юрист Константин Дмитриевич Бендер, женатый на двоюродной сестре графа Сергея Дмитриевича Марии Сергеевне Шереметевой, писал о нем в своих записках, опубликованных в эмиграции, с совершенно других позиций: «…Порывистый, нервный, вспыльчивый, впечатлительный, он, наверно, отталкивал от себя многих, из которых одни, более снисходительные, считали его странным, чудаком, а другие, более строгие, совсем несдержанным, взбалмошным человеком. Но такие мнения, думается, были односторонни, поверхностны и получились оттого, что этот человек, проведший всю свою жизнь в свете, был, странно сказать, очень робок, застенчив! Подойти к нему немного ближе – и вы не могли и не любить, и не уважать этого, по мнению многих, чудака. В чем выражались его чудачества, за которые его так осуждали? …Этот человек просто жил своей особой замкнутой умственной жизнью… был рассеян в обращении с людьми, мало обращая внимания на свою внешность, платье, и вот эти-то мелкие ничтожные подробности и создавали ему такую репутацию… В то же время этот „чудак“ говорил и писал на нескольких языках, знал наизусть Пушкина, был превосходный чтец, большой знаток русской старины, …все время искал общения с учеными, …и читал, читал без конца… Много ездил по белу свету, много видел, знавал выдающихся людей своего времени. Россию он любил всей душой, верил в нее неколебимо».
Известен такой случай. Варвара Ильинична Мятлева, вдова действительного статского советника Владимира Ивановича Мятлева, нанимавшая в начале XX века квартиру во «флигеле Бенуа» и дружившая с семьей владельцев Фонтанного дома, однажды приколола записку к старой и совершенно вытертой каракулевой шапке, в которой просила Сергея Дмитриевича сменить ее на новую.
Его внук А.А. Гудович так описывал характер своего деда: «…В семье он был глава, и нрав свой не сдерживал. Но был справедлив… Он не терпел войны, применения грубой физической силы, предпочитал мирные средства и решения, как Император Александр III… Характер деда был бурный, вспыльчивый. Возражений он не любил, но не любил и безвольного подчинения, из-за чего его раздражала бабушка со своим „делай как знаешь“. Наученная горьким опытом, она знала, что дед все равно сделает по-своему».