Вместе с отрядом казаков он проделал лихой разведочный рейд по тылам шведов, помог верно избрать направление главного удара и подготовил победу Барклаю де Толли. Казалось бы, ему обеспечена блестящая военная карьера. Но подвёл буйный нрав. На дуэли он убил прапорщика Александра Нарышкина и был разжалован в солдаты. Вскоре началась война с французами, и он вновь отличился, заслужил Георгия 4-й степени, а после разгрома наполеоновской армии получил чин полковника.
Обосновавшись в Москве, он устроил из своего дома нечто подобное притона картёжников, гуляк, пьянчуг и баламутов. По некоторым данным, число убитых им на дуэлях достигло 11.
Он стал героем многочисленных анекдотов. Вот некоторые из них.
Однажды после сытного обеда с немалыми возлияниями хозяин предложил ему напиток:
— Возьми, Толстой, тотчас отобьёт весь хмель.
— Боже мой! — воскликнул тот, перекрестясь, — да за что я тогда два часа трудился? Нет, хочу остаться при своём.
…В Английском клубе невдалеке от Толстого-Американца сидел барин с отменным красно-сизым носом. Фёдор Иванович посматривал с уважением на столь откровенное украшение лица, обличающее, как принято считать, незаурядного пьяницу. Однако вскоре выяснилось, что этот барин пьёт одну только чистую воду.
— Да это самозванец! — возмутился Толстой. — Как смеет он носить на лице своём признаки, им не заслуженные!
…Возможно, после очередного убийства противника на дуэли или какой-нибудь бессовестной пьяной выходки Фёдор Иванович наложил на себя епитимью: полгода не брать в рот спиртного. Несколько месяцев он терпел эту муку. И даже долгие — неделю или две — проводы приятеля в дальнюю дорогу с бесчисленными тостами не смутили его.
Когда товарищ отбыл, он, трезвый, возвращался в кибитке вместе с Денисом Давыдовым. После долгого мрачного молчания Толстой обратился к своему попутчику:
— Денис, голубчик, дохни на меня!
За некоторые проделки граф Толстой мог угодить в сибирскую ссылку. Так, рассердившись на какого-то мещанина, он позвал его к себе домой, там велел связать по рукам и ногам и вырвал у него зуб.
Преступление было, как говорится, налицо. Пострадавший обратился с жалобой в полицию и суд. С помощью взяток Толстой доказал, что это клевета, и мещанин угодил в острог.
В то время в тюремном комитете служил известный в то время литератор Н.Ф. Павлов — сын дворового слуги, окончивший театральное училище, а затем и словесное отделение Московского университета. Мещанин обратился к нему в поисках справедливости. Павлов, как подлинный демократ, решил завести дело на графа Толстого. Тот, испугавшись, задействовал свои связи в высших кругах.
В результате один из вельмож написал другому секретное отношение, советуя дело закрыть, дабы „не дать такого прямого торжества низшему сословию над высшим“.
Так и было сделано. Как показывает данный пример, проявлению самодурства способствуют не столько определённые черты характера, сколько социальные условия, позволяющие одним людям издеваться над другими.
…Некий князь задолжал Фёдор Ивановичу по векселю значительную сумму. После нескольких отсрочек, так и не дождавшись долга, Толстой написал ему: „Если Вы к назначенному числу не выплатите долг свой сполна, то не пойду я искать правосудия в судебных местах, а отнесусь прямо к лицу Вашего Сиятельства“. Долг был выплачен.