К этому времени у него самого завелась модница: Федор женился на бедной девушке – сироте Шарлотте Рамбур, ученице модистки, причем венчался и оформил брак в посольской церкви. История этого брака укрыта неким туманом тайны. В своей биографии Каржавин цветисто и туманно писал, что «вздумал суровость жребия своего умягчить женитьбою», но не умягчил, ибо «в брачном состоянии не нашел я истинного спокойствия». Почти сразу же после свадьбы жена охладела к нему, хотя он долгие годы сохранял нежное к ней отношение, не искал ей замены, а по возвращении домой после всех странствий даже выписал Шарлотту в Россию.
Но тогда, в 1776 году, он решил уехать из Франции и попытать счастья в Америке: там только что образовалось новое государство – Североамериканские Соединенные Штаты, об этом много писали французские газеты, Франция была союзницей Соединенных Штатов против англичан. Каржавин как-то пристроил жену к делу, а сам под вымышленным именем (Лами) отправился во французскую колонию – на остров Мартинику. Несомненно, ошеломляющая катастрофа в семейной жизни и безденежье толкнули его на этот шаг. Но была и другая причина: несмотря на свои незаурядные способности, выдающиеся знания, по природе Федор Каржавин не был ученым, исследователем – необычайно яркий темперамент и живой непоседливый характер гнали его все к новым впечатлениям. Поэтому много лет путешествуя по Америке, живя в самых экзотических местах, куда никогда не ступала нога русского человека, он собирал там не научные наблюдения, не коллекции, а приключения.
И приключений в Новом Свете у Каржавина хватало: он попал в самое пекло войны колонистов с англичанами. Чем только не занимался Федор в Америке! Унаследованные от предков оборотистость, практическая жилка, умение приспособиться к обстоятельствам много ему помогали. Для начала он продал привезенные с собой книги, основал с каким-то новым приятелем-креолом с Мартиники торговую компанию, нанял корабль и, бегая от английских каперов, торговал контрабандой на побережье Вирджинии. Когда же англичане в конце концов захватили и угнали его корабль в Нью-Йорк, то Каржавин, без копейки денег, с куском хлеба за пазухой, пешком дошел из Вирджинии в Бостон, к французскому консулу, но не застал его там и двинулся в Филадельфию. При этом наш герой, «исполненный русским неунывающим духом», попадал в расположение то англичан, то колонистов. И те и другие хватали его, подозревая в нем шпиона, но всякий раз Федор выходил сухим из воды. Потеряв свои капиталы, он работал в разных местах мелочным разносчиком, аптекарем, переводчиком, лекарем на испанском фрегате, пытался стать табачным фабрикантом, был приказчиком в крупной торговой фирме. Порой его охватывала тоска, и тогда он писал жене. В 1777 году она попросила его вернуться. В ответ, порассуждав о дороговизне переезда через океан, он писал: «Я потерял 2 корабля и все, что имел в Новой Англии, более 20 раз в течение этого времени я рисковал жизнью и после всего этого… впереди мне не видно исхода из этого тяжелого положения. Из-за чего все это? Все из-за одного рокового “Нет”, сказанного той, которая хотела быть девицей Лами и не соглашалась сделаться мадам Каржавиной». Дальнейшее говорит о том, что Федор читал немало французских романов: «Но прочь все гордые мечты о счастии! Помни, бедняк Лами, что ты надолго потерял ее гордое сердце, что ты больше ничего, как несчастный аптекарь, и вари свои лекарства для храбрых солдат, которые отмстят англичанам за твое разорение, не мечтай же о счастии, которое не для тебя существует на свете… А теперь, когда ты уехал за 1500 лье, можешь ли ты поверить в возможность этого счастья? Вместо того чтобы лететь по первому призыву за ним и по приезде встретить, может быть новый отказ, который убьет тебя. Живи в покое да делай свои пластыри, оно вернее…»