По воспоминаниям Фаддея Булгарина, «...Толстой был опасным противником, он прекрасно стрелял из пистолета, мастерски рубился на саблях, на шпагах фехтовал не хуже Севербека[5]
. В поединке был хладнокровен и отчаянно храбр».Как мы уже упоминали, в 1803 году Толстой отправился в кругосветное плавание в качестве члена команды шлюпа «Надежда» капитана Крузенштерна. Это было первое кругосветное плавание корабля под российским флагом. Каким образом Толстой, не служивший на флоте, попал на корабль, достоверно не известно. Марья Каменская, племянница графа, пишет, что Толстой таким образом ловко избежал очередного наказания в Преображенском полку. По ее словам, он выдал себя за своего двоюродного брата-тезку, который числился в составе экипажа, но не желал плыть, так как страдал морской болезнью.
Корабль «Надежда», а также следующий за ним шлюп «Нева» под командованием Юрия Лисянского отплыли в августе 1803 года из Кронштадта. Кроме исследовательских целей, экспедиция должна была также помочь установлению дипломатических и экономических связей России с Японией. После посещения Японии «Надежда» и «Нева» взяли курс на остров Ситка, затем мимо Китая и Макао через Индийский, а затем Атлантический океан и Балтийское море вернулись в Кронштадт. Плавание продолжалось более трех лет, с 7 августа 1803 по 19 августа 1806 года.
На борту поведение Толстого, не обремененного служебными обязанностями, было весьма непредсказуемым. Он часто провоцировал ссоры с другими членами команды, в том числе с самим капитаном. Помимо этого, Толстой позволял себе злые шутки в адрес нелюбимых им членов команды: так, однажды он напоил сопровождавшего «Неву» попа и, когда тот лежал мертвецки пьяный на полу, приклеил его бороду к доскам палубы сургучом. В итоге бороду пришлось отрезать, чтобы пришедший в себя священник смог освободиться. В другой раз Толстой прокрался в каюту Крузенштерна в его отсутствие с любимцем команды, ручным орангутангом, которого Толстой купил во время одной из остановок на островах в Тихом океане. Там он достал тетради с записями Крузенштерна, положил сверху лист чистой бумаги и стал показывать обезьяне, как заливать чернилами бумагу. Затем он оставил орангутанга в каюте одного, а тот стал подражать Толстому на тетрадях капитана. Когда Крузенштерн вернулся, все его записи оказались уже уничтожены.
Подобное поведение оборачивалось для Толстого неоднократным заключением под арест. В конце концов, Крузенштерн потерял терпение и высадил плохого пассажира во время остановки «Надежды» на Камчатке. Дальнейшие подробности путешествия Толстого известны лишь из его собственных, не всегда правдоподобных рассказов. С Камчатки Толстой добрался до одного из Алеутских островов или же на остров Ситка, где провел несколько месяцев среди аборигенов Аляски.
Во время пребывания Толстого на Ситке, а по другим данным — еще в дни остановки «Надежды» на Маркизах, его тело украсили многочисленными татуировками, которые он позже с гордостью демонстрировал любопытствующим. Упомянутый орангутанг, которого вместе с Толстым высадили на сушу, дал впоследствии повод многочисленным сплетням. Согласно одним из них, Толстой во время своего пребывания на Камчатке с обезьяной сожительствовал, а согласно другим — ее съел.
Как бы то ни было, возвращение Толстого в Европейскую Россию через Дальний Восток, Сибирь, Урал и Поволжье, вероятно, было полно приключений, подробности которых знал лишь один Толстой. По его рассказам, его подобрало у Аляски торговое судно и доставило в Петропавловск, из которого он добирался до Петербурга по суше на телегах, санях, а отчасти и пешком. Одно из немногих письменных свидетельств этой одиссеи находится в «Записках» бытописца Вигеля, вышедших в свет в 1892 году. Вигель, путешествовавший в начале XIX века по России в целях изучения российского быта, встретил Толстого в Удмуртии и описал этот эпизод следующим образом: «На одной из станций мы с удивлением увидели вошедшего к нам офицера в Преображенском мундире. Это был граф Ф. И. Толстой. <...> Он делал путешествие вокруг света с Крузенштерном и Резановым, со всеми перессорился, всех перессорил и, как опасный человек, был высажен на берег в Камчатке и сухим путем возвращался в Петербург. Чего про него не рассказывали...»