Бесстрашие Толстого-Американца проявлялось не только в поединках и бесконечных приключениях. Во время наполеоновского нашествия он героически воевал, был ранен в Бородинском сражении и попал в плен к французам. На следующий день вся французская армия, забыв про грабежи и бесчинства, пировала у московских цыган под предводительством разгульного графа. Через две недели кутежей Федор Толстой был «выгнан из плена» самим Наполеоном, со словами: «Вон! Иначе он развратит мне всю армию».
После войны граф Толстой вышел в отставку и поселился в Москве, в особняке, стоявшем на углу Сивцева Вражка и Калошина переулка. Дом, к сожалению, не сохранился, его снесли, когда в 1937 году здесь было начато строительство знаменитой Кремлевской поликлиники. В Москве граф зажил на широкую ногу и вернулся к прежнему образу жизни. Он устраивал веселые пирушки, на которых бывали друзья – Денис Давыдов, Жуковский, Вяземский, дядя будущего великого поэта Василий Пушкин. Снова началась большая карточная игра и поездки к цыганам.
Московские кумушки рассказывали, что Толстой-Американец выкупил свою будущую жену красавицу-певицу Авдотью Тугаеву из цыганского табора. Так бы и жить им невенчанными, если бы не случай. Однажды Толстой крупно проигрался в карты в Английском клубе. За карточным столом оказался известный шулер – Огонь-Догановский, который несколько раз проиграл графу, а потом обчистил его до нитки. Несколько дней Толстой-Американец пытался раздобыть деньги, но все было безуспешно.
Графа ждал позор и бесчестье, черная доска и исключение из Английского клуба. Выход оставался только один – покончить собой. Граф достал пистолет и начал писать предсмертную записку. Но тут произошло невероятное. Авдотья выложила на стол ворох ассигнаций и драгоценностей. То есть, все, что граф за многие годы дарил своей возлюбленной. Федор так растрогался, что повел Авдотью под венец и прожил с ней четверть века.
В браке у супругов родилось 12 детей, из которых 11 умерли. Граф искренне считал, что смерть детей была Божьей карой за погубленные им на дуэлях души. Тогда Федор Иванович завел синодик, в котором выписал имена убитых им на дуэлях. После смерти каждого своего ребенка он вычеркивал имя очередного убитого и сбоку писал «квит». После смерти старшей дочери Сарры, которая умерла последней из детей, Толстой перечеркнул весь список и написал: «Все, квит, за всех расквитался!». Единственная оставшаяся в живых дочь Прасковья дожила до глубокой старости и была посаженной матерью у Л. Н. Толстого.