С 1800 г. Вороново становится любимым местом пребывания графской семьи. Из Италии сюда доставляют мраморные статуи для парка. Из Парижа, Рима, Лондона привозят изящную мебель, античные вазы, бронзу, картины, серебряные сервизы, гобелены. Снаружи дворец украсили огромные статуи людей и лошадей; залы напоминали музеи, а библиотека, насчитывающая тысячи томов, приводила в изумление даже искушенных библиоманов. Современники, восхищавшиеся красотой усадьбы и пышностью дворцового убранства, называли великолепное Вороново маленьким Версалем.
Многие историки полагают, что подземный лабиринт в Вороново был построен по приказу самого Ростопчина. Известно, что граф всегда боялся бунта и измены, всюду ему чудились заговоры. Тайные же ходы позволяли скрытно покидать дворец. Но была и другая версия. В XVIII в. у вельможной знати вообще была мода на так называемые "гроты" — обширные подземелья или просто подземные помещения в виде искусственных пещер, которые возводились для "увеселения и от жары сокрытия". Не исключено, что Ф.В. Ростопчин, обнаружив при реставрационных и землеустроительных работах старое подземелье, задумал приспособить его для этой новомодной забавы. Но настали тяжелые времена, к столице неумолимо приближался иноземный враг. Утром 2 сентября 1812 г. граф покинул Москву и помчался в свое великолепное имение. Где-то в районе Москвы-реки он догнал главный штаб русской армии. А 4 сентября с высоты ее известкового берега он мог видеть пылающий город, подожженный (как полагали многие его современники) по его приказу.
5 сентября армия Кутузова пошла правым берегом Пахры мимо Никитска и Фролова Яма в сторону Подольска. 7 сентября ставка Кутузова остановилась в селе Красная Пахра. Присутствие 85-тысячной армии в 15 верстах от Воронова беспокоило Ростопчина. Солдаты терпели нужду в провианте и фураже и собирали по округе необходимые для прокорма припасы. Поэтому заботливый граф принял меры, чтобы любимую усадьбу не разграбили свои же.
За 14 дней, пока армия топталась буквально у ворот усадьбы, никому из военных чинов не удалось в ней побывать. Мало того, Ф.В. Ростопчин который славился своим гостеприимством и хлебосольством, никого из офицеров и генералов не позвал даже отобедать. Исключение составили лишь два англичанина, находившиеся при главной квартире Кутузова, — Роберт Вильсон и лорд Терконель, которых граф пригласил квартировать в Вороново. В течение последующей недели граф ежедневно выезжал к фельдмаршалу, пытаясь узнать, будут ли войска отступать в дальнейшем или нет. Но ответа он, естественно, не получил. Видимо, из-за этой неопределенности, им было упущено время для эвакуации имущества. И домовладельцу Ростопчину не оставалось ничего другого, как с помощью доверенных слуг и в полной тайне от всех посторонних спрятать самое ценное в подземных тайниках.
Еще 13 сентября за ужином граф уверял своих заморских гостей, что "если русская армия отступит отсюда, то он, скорее, сам истребит дом свой и всю деревню, нежели будет свидетелем занятия оной французами". А уже 17 сентября по распоряжению графа 1720 человек дворовых и крестьян села Вороново были отправлены в Липецкую губернию, в поместье его отца. Их провожали сам граф и Роберт Вильсон. Ни одной вещи, ни одного сундука из дворца в этом обозе не было.
(Вот это утверждение вовсе не бесспорно. Что, англичанам демонстрировали каждый сундук, загружаемый на походные телеги? Да если представить себе, что на каждой из них сидело хотя бы по 5 человек со своим скарбом, то потребовалось бы не менее 350 телег для перевозки такой массы людей!)
19 сентября русская армия отступает к Спас-Купле. Ростопчин деятельно готовится поджечь свой дворец. Предварительно он даже прибивает на дверях церкви записку на французском языке:
Как сказано? С чувством, с толком, с искренней ненавистью к проклятым захватчикам, буквально вынуждающих домовладельца собственными руками разрушить домашнее гнездо. При поджоге дворца присутствовали: сам граф, его доверенные слуги и оба англичанина.