Наполеон в это время находился в Италии, занимаясь там вопросами своей коронации. В результате Жером в сопровождении Александра Лекамю двинулся через территорию Испании в сторону приграничного французского Перпиньяна.
В районе Трухильо в ста с лишним километрах от португальской границы Жером неожиданно повстречал генерала Жюно с супругой, ехавших в Лиссабон с посольской миссией.
Пикантность ситуации заключалась в том, что супруги Жюно давно знали, что Наполеон категорически не одобрил выбор и решение своего младшего брата. Императора раздражало то, что решение о женитьбе было принято без согласования с ним. Этот брак он считал позором для своей семьи, а Элизабет он называл не иначе как «никудышной женщиной» и грозился полностью отказаться от брата в случае дальнейшего непослушания. Влюбленный Жером был в отчаянии.
Жан-Андош Жюно, добрая душа, глубоко переживал за этого парня и пригласил его на завтрак, но они с Лорой были расстроены, обнаружив, что принимают человека, совершенно отличного от того молодого весельчака, которого они знали еще ребенком. Некогда живое выражение лица Жерома сменило отражение печальной меланхолии, в нем явно происходила страшная внутренняя борьба.
Когда же Жюно стал убеждать его оставить «американскую девицу» и заключить мир с императором, Жером вспылил:
— Даже если я признаю, что совершил ошибку, на чью же голову падет наказание? На голову моей бедной, невинной жены! Надеюсь, что мой брат не станет приводить в ярость одну из наиболее уважаемых семей в Америке!
Затем он показал миниатюрный портрет Элизабет, и Жюно, который еще совсем недавно был влюблен в Полину Бонапарт, сделал замечание о схожести этой девушки с сестрами Жерома.
— Я лишь хотел бы, чтобы мой брат согласился повидать ее, — сказал Жером. — Если он это сделает, то, по моему убеждению, ее триумф станет полным. Конечно же она ему понравится.
Жюно ничего не ответил на это, сознавая, что перспектива приведения в ярость уважаемой в какой-то там Америке семьи никогда не удержала бы императора от неприятия своей новой невестки, которая сразу, по одному ему ведомой причине, не понравилась ему.
И будущий герцог д’Абрантес оказался прав. У Жерома действительно не оставалось никаких других вариантов, кроме подчинения воле могущественного брата. В противном случае он был бы проклят, сослан и, возможно, даже арестован как самый последний дезертир. Да-да! Добиваясь своего, Великий Наполеон не гнушался и такими методами!
Жером чувствовал, что вынужден бороться против гораздо более сильной личности, чем он сам. Тем не менее 24 апреля 1805 года он приехал в Турин. Там он попытался вести переговоры и хоть как-то смягчить своего венценосного брата. Все было напрасно, и 5 мая Жером вынужден был подчиниться. На следующий день Наполеон написал:
«Мой брат, в твоем поведении нет таких ошибок, которые бы не сглаживали в моих глазах твое искреннее раскаяние. Ваш союз с мадемуазель Паттерсон ничего собой не представляет ни в глазах религии, ни по закону. Напиши же ей и скажи, чтобы она возвращалась в Америку. Я предоставлю ей пенсию в шестьдесят тысяч франков пожизненно при условии, что она ни в коем случае не будет носить моего имени, на которое у нее нет никаких прав».
«Принц Евгений Богарне, вице-король Италии, получил руку принцессы Баварской, а Жером Бонапарт, успевший жениться в Америке на мисс Патерсон, должен был вскоре заключить брачный союз с принцессой Вюртембергской. Она прежде была невестой курфюрста Баденского, но тот, смущенный и встревоженный, отказался от мысли об этом союзе и согласился женить сына на племяннице императрицы Жозефины, мадемуазель Стефании Богарне, которую Наполеон провозгласил имперской принцессой».
Обливаясь слезами, несчастный Жером написал любимой жене письмо, в котором просил ее уехать обратно в Балтимор.