Последние годы жизни графа в доме на Большой Лубянке были связаны в основном с потерями. К сожалению, семья вряд ли могла стать подспорьем в борьбе с тяжелыми жизненными обстоятельствами. Да и семьи-то как таковой уже не было. Немало хлопот давно уже доставляла Ростопчину его жена, Екатерина Петровна. Вот уж от кого не ждал он поддержки перед ударами судьбы! Они стали чужими людьми. Началось это еще в 1806 году, когда графиня перешла в католичество, а затем пыталась обратить в чужую веру детей: трех дочерей, Наталью, Софью и Елизавету, и двух сыновей, Андрея и Сергея.
Сын Сергей, к слову сказать, служил в армии, участвовал в военных походах 1813–1814 годов, но моральной устойчивостью не отличался. Много пил, играл в карты, был в долгах. Опекавший Сергея во время войны Закревский всячески пытался наставить его на путь истинный: «Не желаю опечалить г. Федора Василича при приезде сына его в Москву; нужным считаю вас уведомить, любезный друг, при случае сказать Г.Ф.В., что лечение сие сыну его необходимо и уплата долгов также, кои по мнению моему простираются до 25 т., а может стать и больше; сын может откровеннее ему во всем признаться». В дальнейшем Сергей Ростопчин не радовал отца, расстроив свое здоровье постоянными кутежами. Находясь после 1815 года за границей, он и вовсе попал в долговую тюрьму из-за отказа отца оплатить очередной долг в 75 тысяч рублей.
Ростопчин боролся с супругой за влияние на детей. Но даже и здесь сил ему не хватало. В 1825 году умерла его младшая дочь Елизавета. Перед смертью дочери мать почти насильно склонила ее к принятию католической веры. Ростопчин, узнав об этом, уже после кончины Елизаветы упросил московского митрополита, несмотря на открывшиеся обстоятельства, похоронить ее на православном кладбище. «Ростопчина вела пропаганду; она давала мне разные католические книги, не просто благочестивые. Ростопчина основала при Московской католической церкви богадельню, которая до сих пор существует. Я слышала от нее самой, что в доме их в 1812 году у нее было много колибри в оранжерее, которых французы зажарили и съели. Дом их был на Лубянке и очень хорош и великолепен. Мы в 1837 году обедали у нее и бывали несколько раз», – вспоминали мать и дочь Елагины. Нужно ли говорить о том, каким тяжким бременем лежала на душе у Ростопчина невозможность устройства своей собственной семьи
Здоровье Ростопчина становилось все хуже. Он все реже выезжал в свет. Из «Последних страниц, писанных графом Ростопчиным» в конце ноября 1825 года узнаем мы о подробностях московской жизни, изменившейся с получением известия о смерти Александра. Принимать присягу Константину в Успенский собор Ростопчин не поехал, сославшись на нездоровье. Взгляд его на происходящие вокруг события был по-прежнему скептичен: «Народ равнодушен и несколько доволен, ибо ожидаются милости при коронации. Видно несколько горести напоказ… Дворянство, раздражаемое, разоренное и презираемое, довольно. Военные надеются, что их менее будут мучить».
За месяц до своей смерти Ростопчин узнал о восстании на Сенатской площади, высказавшись по этому поводу вполне остроумно: «В эпоху Французской революции сапожники и тряпичники хотели сделаться графами и князьями; у нас графы и князья хотели сделаться тряпичниками и сапожниками». Скончался Федор Васильевич Ростопчин 18 января 1826 года, похоронили его на Пятницком кладбище Москвы. Начав историю жизни Ростопчина с его автобиографических записок, ими по праву можно было бы ее и закончить: «Я ожидаю смерти без боязни и без нетерпения. Моя жизнь была плохой мелодрамой с роскошной обстановкой, где я играл героев, тиранов, влюбленных, благородных отцов, но никогда лакеев».
Эту эпитафию на свою могилу он сочинил сам: