Непонятно и где Толстой обзавелся татуировкой по всему телу; судя по всему, это произошло еще до высадки в Америке, во время стоянки экспедиции на Маркизовых островах. Во всяком случае, эта татуировка стала частью его образа Американца по возвращении в Петербург. Там, на светских приемах частью регулярной программы стала демонстрация Толстым мужской части компании своего татуированного тела.
После возвращения в Россию жизнь Федора Толстого была наполнена дуэлями и битвами, возвышениями и опалами, карточными выигрышами и проигрышами.
Грибоедов в «Горе от ума» так про него и написал:
При встрече Толстой высказал Грибоедову неудовольствие, однако совсем не словами про ссылку (его ведь не ссылали):
Сохранился один из списков «Горя от ума», который имел хождение в Петербурге и Москве. В этом экземпляре рукою Толстого-Американца была сделана поправка: вместо «в Камчатку сослан был» — «в Камчатку черт носил (ибо сослан никогда не был)», а вместо «и крепко на руку не чист» — «в картишках на руку не чист». И приписано пояснение: «Для верности портрета сия поправка необходима, чтоб не подумали, что ворует табакерки со стола».
В 1820 году, когда Пушкина сослали на юг, Толстой пустил слух, будто того перед ссылкой выпороли — по тем временам неслыханное оскорбление. Пушкин все годы ссылки готовился к дуэли, обмениваясь с обидчиком эпиграммами:
Толстой ответил не так складно, но не менее язвительно:
Пушкин в ответ поправил и сократил свою эпиграмму, вставив ее в текст послания Чаадаеву:
Тем не менее до дуэли с Пушкиным дело не дошло, и после возвращения поэта в Петербург у них даже установились приятельские отношения. Персонаж «Евгения Онегина» Зарецкий носит узнаваемые черты Толстого. Именно Толстого Пушкин просил передать письмо матери Натальи Гончаровой, в котором просил руки ее дочери.
В 1821 году Федор Толстой обвенчался с цыганкой-танцовщицей, с которой у него был многолетний роман, после того как она помогла ему выплатить карточный долг, вернув подаренные им ценные вещи за несколько лет. Жена родила ему 12 детей, 11 из которых умерли, не дожив до совершеннолетия. Говорили, что Толстой завел себе список убитых им на дуэлях людей и напротив каждого имени записывал имя своего умершего ребенка — «счет» сравнялся на 11. Его вдова Авдотья пережила мужа на 15 лет и была зарезана собственным поваром в 1861 году.
Федор Толстой послужил прототипом героев Льва Толстого (Долохов из «Войны и мира») и Тургенева (Лучков из «Бретера» и Лучинов из «Трех портретов»).