Самым сильным ударом по репутации великого князя Сергея была Ходынка. Как генерал-губернатор, он отвечал за коронацию императора в 1896 году. В городе его даже прозвали «князем Ходынским». Однако две правительственные комиссии пришли к противоположным выводам по поводу виновных, и в итоге непосредственно за ходынскую трагедию никто не был наказан, лишь впоследствии глава московской полиции и министр двора ушли в отставку.
У Сергея и Эллы нет своих детей, но они воспитывают племянников. В 1902 году младший брат Сергея, великий князь Павел, без разрешения императора женился вторично — на разведенной женщине. Понимая, что император никогда не даст согласия на неравный брак, великий князь Павел женился тайно, в Италии. Николай II за это наказал великого князя изгнанием за границу, а его детей, 12-летнюю Марию и 11-летнего Дмитрия, отдал на воспитание дяде Сергею и тете Элле. Бездетный московский генерал-губернатор безмерно счастлив — он очень любит детей своего брата, которые и до вынужденной разлуки с отцом подолгу жили у него. Мария вспоминает: «Несмотря на глубокое сожаление, которое испытывал мой дядя по отношению к мезальянсу своего брата, он не мог скрыть радость от того, что теперь мы только его дети. Он непрестанно повторял: "Теперь я ваш отец, а вы мои дети!" А мы с Дмитрием сидели рядом, безучастно глядя на него, и молчали». Эти осиротевшие при живом отце дети еще сыграют важную роль в жизни Николая II — именно великий князь Дмитрий станет одним из убийц Распутина. Но это будет только через четырнадцать лет.
А пока они привыкают к жизни без родителей, в семье хозяина Москвы Сергея. Великая княгиня Мария («маленькая Мари») вспоминает, как восторженная толпа едва не раздавила их, когда в 1903 году император приехал в Москву на пасхальные праздники. Дети отправились вместе с Николаем II на экскурсию по Кремлевской стене. Горожане, заметившие императора, стали собираться в огромную толпу. Когда царь с детьми спустились по лестнице одной из башен и направились назад во дворец, толпа хлынула через ворота и с криками «Ура!» окружила их.
«Под давлением массы народа мы с Дмитрием потеряли почву под ногами, — пишет Мария. — Нас… бросало из стороны в сторону неуправляемыми колебаниями толпы, которая могла затоптать нас насмерть, если бы дядя, увидев наше исчезновение, не остановил всех и не послал полицейских на поиски. Они нашли нас и возвратили назад, вытащив из вздымающейся людской волны. Мой жакет был разорван, на теле — синяки, но никаких серьезных повреждений. Император был заметно тронут этими знаками почитания и выражением верноподданнических чувств москвичей… Дядя был счастлив, что все окончилось хорошо; город, за который он нес полную ответственность, показал себя достойным такого случая. Народ, пусть и необузданно, спонтанно продемонстрировал свою верность царю; политический горизонт, казалось, был во всех отношениях безоблачен».
Однако полтора года спустя настроение народа изменилось — из-за войны. В 1904 году толпы под окнами великого князя Сергея собираются уже не чтобы выразить верноподданнические чувства. «Они начали швырять бутылки и камни в наши окна. Пришлось вызвать полицию и выставить постовых вдоль тротуара, чтобы защитить вход в наш дворец», — вспоминает Мари.
Приехав в Петербург в ноябре 1904 года, великий князь Сергей, человек, «воспитавший» Трепова и Зубатова, возмущен новыми порядками настолько, что заводит с императором разговор об отставке и через некоторое время действительно уходит с поста генерал-губернатора на символическую должность командующего Московским военным округом. Впрочем, его влияние от этого только возрастает — император по-прежнему больше доверяет тем, кто не занимает важных государственных постов. Весь декабрь Сергей почти неотлучно находится при императоре.
Просится в отставку и Трепов: он собирается на Дальневосточный фронт.
Вычеркнуть интеллигенцию из словаря
24 ноября 1904 года министр внутренних дел Мирский приносит императору проект собственных реформ. Трудно сказать, кто из них больше взбудоражен: князь Мирский, которого травит столичный бомонд, или император Николай II, которого издергала собственная семья. Помимо матери и дяди Сергея в обсуждение государственного устройства и реформ включаются все старшие Романовы: родные братья Александра III Владимир (президент Академии художеств и командующий Петербургским военным округом) и Алексей (главнокомандующий флотом), а также его двоюродные братья Александр (Сандро) и Николай. Наконец, присоединяется императрица — в конце ноября она просит мужа познакомить ее с князем Мирским.