Для решения этой задачи 5 мая 1813 года император учредил Комиссию для строения Москвы во главе с Ростопчиным. Именно этой комиссии предстояло «способствовать украшению» Москвы, а не пожару, как утверждал грибоедовский Скалозуб. Для воплощения планов Москве была дана беспроцентная ссуда в пять миллионов на пять лет. В комиссии работали лучшие зодчие – Бове, Стасов, Жилярди и другие. Неудивительно, что решение такого большого числа проблем негативно отразилось на здоровье Ростопчина, у него участились обмороки и началась затяжная депрессия. Он занемог еще в октябре 1812 года, увидев, во что превратилась Москва. Рассуждать о «русском правиле» – это одно, а увидеть его практическое воплощение – совсем другое. Физические недуги обострялись нравственными. Москвичи всю вину за потерю своего имущества возложили на Ростопчина. Его в открытую бранили все независимо от сословной принадлежности – на рынках и площадях, в салонах и в письмах. О том, чтобы использовать довоенные методы управления, не было и речи – он не мог уже без охраны ходить по улицам. Отпала надобность и в агентах, Ростопчин и так знал, что авторитет его у москвичей – минимальный.
Характерный пример – письмо московской дамы Марии Волковой к своей петербургской родственнице Варваре Ланской от 8 августа 1814 года: «Если бы ты знала, какое вы нам окажете одолжение, избавив нас от прекрасного графа! Все его считают сумасшедшим. У него что ни день, то новая выходка. Несправедлив он до крайности. Окружающие его клевреты, не стоящие ни гроша, действуют заодно с ним. Граф теперь в Петербурге.
Как его там приняли? Сделайте одолжение, оставьте его у себя, повысьте еще, ежели желаете, только не посылайте его к нам обратно». А ведь еще в июне 1812 года та же Волкова писала, что «Ростопчин – наш московский властелин… у него в тысячу раз более ума и деятельности». Как быстро поменялось общественное мнение!
После пожара граф сделал для Москвы несравнимо больше, чем в те несколько месяцев, что он успел совершить до французского нашествия. Но москвичи не простили ему московского пожара, связав с ним все свои беды и горести: «У Ростопчина нет ни одного друга в Москве, и там его каждый день клянут все. Я получил сотни писем из Москвы и видел много людей, приехавших оттуда: о Ростопчине существует только одно мнение», – писал Н. М. Лонгинов из Петербурга 12 февраля 1813 года С. Р. Воронцову.
Мы не случайно привели мнение именно петербургского жителя, приближенного ко двору, где к этому времени уже сформировалось мнение о необходимости смены ряда ключевых политических фигур. Востребованная накануне войны консервативная идеология уже не отвечала политическим реалиям. Авторитет Александра, въехавшего в апреле 1814 года в Париж победителем, был как никогда высок (кстати, по случаю победы Ростопчин дал в это время торжественный прием в своем дворце). Вспомним, что назначение Ростопчина и его соратников было вызвано именно политическими причинами. Теперь эти же причины повлекли и обратный процесс.
В августе граф приехал в столицу. Поначалу события не предвещали для Ростопчина ничего худого: «9-го августа 1814-го года Петербурх. …Граф Ф. В. прибыл сюда благополучно и принят у двора хорошо. Но и тут у него бывают минуты недовольные. Ар. Закревский». Но уже 30 августа 1814 года Ростопчин сошел с политической сцены, а вместе с ним Шишков и Дмитриев.
При визите к императору он было хотел просить у него о новом месте службы в Варшаве для сына Сергея, довольно часто огорчавшего его своим поведением и образом жизни, но отложил эту просьбу на определенное время. Куда уж тут просить о сыне – самому бы не остаться у разбитого корыта. Напоследок, правда, император наделил Ростопчина полномочиями члена Государственного совета, впрочем не имевшего почти никакого влияния. Кажется, что лишь один Арсений Закревский переживал по поводу отставки графа: «Благомыслящие люди и любящие свое отечество всегда должны жалеть о Графе, который доказал на опыте достоинства свои полезные весьма России; следовательно можно ль смотреть на злоязычников не стоящих никакого уважения, а заслуживающие одно только презрение. Всякого состояния люди, всегда ошибались в некоторых, что важно натурально».
Получив отставку, Ростопчин не спешил выехать в Москву. Он нанял для проживания дом генерала Александра Петровича Тормасова, который, в свою очередь, был назначен на место Ростопчина в Москву. Здоровье графа ухудшилось. Арсений Закревский пишет об участившихся обмороках Ростопчина, впервые проявившихся у него еще в эвакуации во Владимире: «С графом был обморок подобной Володимирскому, но теперь, слава Богу, ему лучше, я его не видел более недели… Графу награда за ревностную службу не совсем лестная, быть членом Совета. О сыне ничего не просил и решился не просить, не знаю по каким причинам».