В общей сложности он состоял на службе более полувека, с 1863 по 1917 год: сначала на военной службе, потом по выборам дворянства, затем на гражданской и придворной службах. Он был награжден многими орденами Российской империи, включая орден Св. Александра Невского с алмазными знаками к нему и орден Св. Владимира 1-й степени, имел многочисленные награды других государств.
Основные вехи его служебного поприща таковы. В сентябре 1868 года ротмистр Кавалергардского полка граф С.Д. Шереметев назначается адъютантом цесаревича Александра Александровича. Вместе в цесаревичем он был на фронте во время Русско-турецкой войны 1877 – 1878 годов. Летом 1877 года выполнял ответственное и опасное поручение – как парламентер возил письма главнокомандующего великого князя Николая Николаевича к главнокомандующему оттоманской армией Мехмет-Али-паше. В апреле 1878 года граф С.Д. Шереметев был удостоен ордена Св. Владимира 3-й степени с мечами – это единственная его награда, полученная за военные заслуги.
В 1881 году после воишествия цесаревича на престол под именем императора Александра III полковник граф С.Д. Шереметев был назначен его флигель-адъютантом.
Вскоре вектор его служебной карьеры резко изменился, видимо, граф понял, что воинская служба не являлась его призванием. В январе 1883 года полковник граф Шереметев назначается начальником Придворной певческой капеллы, в мае 1884 года пожалован в должность егермейстера с производством в действительные статские советники и в дальнейшем сочетал статскую службу с придворной и со службой по выборам дворянства.
На посту начальника Капеллы он сменил Николая Ивановича Бахметева, который стремился улучшить не только мастерство собственно певчих, но и музыкантов оркестра. Граф Сергей Дмитриевич, памятуя о меценатских традициях рода графов Шереметевых, продолжил дело своего предшественника. Он пожертвовал капитал в размере 10 тысяч рублей «для усиления средств инструментального класса» и просил министра двора графа И.И. Воронцова-Дашкова присвоить этому капиталу имя А.Ф. Львова, композитора, автора гимна «Боже, царя храни», директора Капеллы до 1861 года. В годы службы графа Сергея Дмитриевича в Капелле управляющим ее был композитор Милий Алексеевич Балакирев, а его помощником – композитор Николай Андреевич Римский-Корсаков. В одном из своих писем более позднего времени, в 1903 году, граф Сергей Дмитриевич так писал о «распределении ролей»: сам он в качестве начальника, по воле Александра III, был призван ограждать Капеллу «от внешних влияний», а управляющий Балакирев – «полный хозяин по музыкальной части». Граф С.Д. Шереметев оставался на посту начальника Капеллы до начала 1895 года.
В 1885 году московское дворянство избрало его своим губернским предводителем, и он с семьей переселился в Москву. Через три года его переизбрали на эту должность на второе трехлетие. Граф Шереметев возглавил одну из самых больших дворянских корпораций Российской империи в тот трудный для дворянства период, когда это сословие утрачивало свои прежние лидирующие позиции – как экономические, так и политические. На своем посту он много сделал для восстановления пошатнувшегося влияния дворянства на общественно-политическую жизнь страны. (Кстати, идеей о необходимости благотворного влияния дворянства на общественную жизнь проникнут императорский Манифест 1885 го да по случаю 100-летия «Жалованной грамоты» дворянству Екатерины II.) За годы пребывания предводителем он дважды отмечается высокими наградами – в 1886 году получил орден Св. Станислава 1-й степени и в 1889 году орден Св. Анны 1-й степени.
В Петербург семья вернулась в 1890 году. В Фонтанном доме в те годы, когда граф Сергей Дмитриевич жил с семьей в Москве, жили родители графини Екатерины Павловны – князь Павел Петрович и Мария Аркадьевна Вяземские.
С 1890-х годов граф С.Д. Шереметев с головой погрузился в научно-общественную деятельность, хотя и числился на придворной службе. В апреле 1892 года назначается егермейстером двора, что соответствовало 3-му классу в Табели о рангах. Во время коронации Николая II в 1896 году он «состоял при особе вдовствующей Императрицы Марии Федоровны», что еще раз подчеркнуло давние дружеские связи между Шереметевым и семьей Александра III. В своем дневнике он подробно описал церемонию коронации.
Император Николай II с начала своего царствования относился к графу С.Д. Шереметеву несколько отстраненно. Хотя с детских лет граф Сергей Дмитриевич обращался к нему «Ники» и на «ты», этикет предписывал иметь дистанцию между монархом и его подданным. Но как оказалось, дистанция между ними возникла еще и оттого, что они исповедовали разные идеалы.