Когда в ходе франко-русской войны 1805–1807 годов среди дворянства России начался сбор средств для армии, Ушаков внес в фонд две тысячи рублей, пять пушек и алмазный челенг, пожалованный ему султаном Селимом III. Но Александр I посчитал, что челенг должен остаться в семье адмирала и «свидетельствовать сверх военных его подвигов и примерное соревнование к благу любезного отечества».
Адмирал остался недоволен назначением, да и здоровье отказывало. 19 декабря 1806 года он обратился с прошением об отставке, в котором перечислял свои заслуги перед отечеством и в качестве причины ухода со службы называл телесную и духовную болезнь. В частности, он писал:
«…Долговременную службу мою продолжал я от юных лет моих всегда бесперерывно с ревностью, усердием и отличной и неусыпной бдительностью. Справедливость сего свидетельствует многократно получаемые мною знаки отличий, ныне же по окончании знаменитой кампании, бывшей на Средиземном море, частию прославившей флот, замечаю в сравнении противу прочих лишенным себя высокомонарших милостей и милостивого воззрения. Душевные чувства и скорбь моя, истощившие крепость сил, здоровья, Богу известны — да будет воля Его святая».
Видимо, потребовалось время для того, чтобы Александр I получил представление о заслугах адмирала. Вероятно, флотоводцу было предложено отказаться от прошения об отставке. 12 января, уведомляя товарища министра морских сил П. В. Чичагова о том, что его решение неизменно, Ушаков вновь писал о душевной болезни и просил удовлетворить прошение.
17 января 1807 года указом Александра I Ушаков был уволен от службы с ношением мундира и с полным жалованьем. 4 июля 1807 года последовал указ Адмиралтейств-коллегии, в котором были перечислены служебные и боевые заслуги адмирала.
Первоначально Федор Федорович остался в Санкт-Петербурге. Он продолжал помогать молодым морякам, в том числе Ивану Ушакову. Вероятно, он надеялся на то, что тот со временем сможет использовать те умение и знания, которые флотоводец ему преподносил. Однако 7 октября 1809 года Иван Ушаков утонул на Неве. Отставной адмирал решил, что и его жизнь кончается. В мае 1810 года он большую часть своего имущества, включавшего 11 деревень всего с 200 крестьян, распределил по наследству между племянниками, а сам удалился в оставленное себе имение в деревне Алексеевке Темниковского уезда Тамбовской губернии, недалеко от Санаксарского монастыря, где в свое время настоятелем служил его дядя, Иван Игнатьевич Ушаков. Жизнь его была полна размышлений и благотворительности для неимущих.
Моряк-патриот не оторвался от жизни страны. Когда началось вторжение войск Наполеона, 19 июля 1812 года он пожертвовал две тысячи рублей в пользу 1-го пехотного Тамбовского полка. 26 июля Тамбовское губернское дворянское собрание большинством голосов (291 «за», 21 «против») избрало Ушакова начальником внутреннего ополчения Тамбовской губернии, о чем в тот же день предводитель дворянства сообщал ему. Но отставной адмирал в письме 29 июля благодарил за честь и по состоянию здоровья отказался принять должность. 15 января 1813 года он пожертвовал 540 рублей на содержание и лечение больных солдат, оставленных в городе Темникове. 11 апреля 1813 года Ушаков обратился к обер-прокурору Синода А. Н. Голицыну о пожертвовании 20 тысяч рублей, содержащихся в Санкт-Петербургском опекунском совете, и накопившихся процентов «… в пользу разоренных, страждущих от неимущества бедных людей».
1–2 октября 1817 года Ф. Ф. Ушаков скончался в своем поместье в Тамбовской губернии. Похоронили флотоводца у стен Санаксарского монастыря. Сразу после его смерти начались искажения его биографии, основательно забытой за те немногие годы, что прошли после его побед 1788–1799 годов. В частности, на сохранившемся до наших дней намогильном памятнике адмиралу, поставленном племянником Федором Ивановичем Ушаковым, в надписи ошибочно указаны возраст и дата смерти:
«ЗДЕСЬ ПОКОИТСЯ ПРАХ
ЕГО ВЫСОКОПРЕВОСХОДИТЕЛЬСТВА
И ВЫСОКОПОЧТЕННОГО БОЯРИНА ФЛОТА, АДМИРАЛА
И РАЗНЫХ РОССИЙСКИХ И ИНОСТРАННЫХ ОРДЕНОВ КАВАЛЕРА
ФЕДОРА ФЕДОРОВИЧА УШАКОВА,
СКОНЧАВШЕГОСЯ 1817 ГОДА СЕНТЯБРЯ 4 ДНЯ,
НА 74 ГОДУ ОТ РОЖДЕНИЯ»