Близ Трухильо в Испании Жером встретил нескольких земляков, одним из которых оказался старый друг его семьи. Лоретта Пермон, теперь мадам Жюно, сопровождавшая своего мужа со специальной миссией в Португалию, поразилась, когда Жюно пришел к ней с сообщением, что только что встретил Жерома Бонапарта, направлявшегося в Милан. Жюно, сердечный человек, глубоко переживал за этого парня и пригласил его на завтрак, но Лоретта была расстроена, обнаружив, что она принимала человека, совершенно отличного от того молодого весельчака, которого она встречала в доме своей матери в Париже. Его живое выражение лица, как заметила она, сменило отражение печальной меланхолии, в нем явно происходила страшная борьба с собственным самосознанием. Когда же Жюно стал убеждать его забыть американскую девицу и заключить мир с императором, Жером вспылил: «Даже при признании, что я совершил ошибку, на чью же голову падет наказание? На голову моей бедной, невинной жены! Наверное, мой брат не станет приводить в ярость чувства одной из наиболее уважаемых семей в Америке!» Затем он показал миниатюрный портрет Елизаветы. И Жюно, который недавно был влюблен в Полину Бонапарт и разочаровался в ней и которому вскоре предстояло стать жертвой ее сестры Каролины, сделал замечание о схожести этой девушки с сестрами Жерома. «Я лишь хотел бы, чтобы мой брат согласился повидать ее, — добавил Жером. — Если он это сделает, то, по моему убеждению, ее триумф станет столь же полным, как и у жены Люсьена Кристины, которую император отвергал, но в конечном счете она ему понравилась, так же как и другие его невестки». Жюно ничего не сказал на это, сознавая, что перспектива приведения в ярость уважаемой в Америке семьи не удержала бы императора от неприятия его невестки, которую он не одобрил с первого раза. Прошли те дни, когда он мог себе позволить делать лучшее из плохой работы, как это произошло с Кристиной Бойер, и это вполне подтверждалось его отношением ко второй жене Люсьена.
Жером достиг Турина 24 апреля. Он, вероятно, спешил по отвратительным дорогам Испании, так как преодолел расстояние за пятнадцать дней. Из Турина он послал жалобное воззвание к своему брату, а затем прибыл в Италию, ожидая его коронации в качестве итальянского короля. Но Наполеон отказался принимать его до того, как он даст обещание, что готов уступить. В течение одиннадцати дней Жером рассматривал альтернативу: безоговорочная капитуляция или ссылка и возможный арест как дезертира. В конечном счете, упомянув о «душевных оговорках», он сдался, и Наполеон позволил ему продолжить путь в Александрию. В письме, написанном ему из этого города, Наполеон указывал: «…в твоем поведении нет таких ошибок, которые бы не сглаживали в моих глазах твое искреннее раскаяние. Твой союз с мисс Патерсон ничего из себя не представляет и по религии, и по закону. Напиши же ей и скажи, чтобы она возвращалась в Америку. Я предоставлю ей пенсию в 60 000 франков пожизненно при условии, что она ни в коем случае не будет носить моего имени, на которое у нее нет никаких прав, поскольку ее брака не существовало. При аннулировании таким образом твоей женитьбы по твоей собственной воле я восстановлю к тебе свою дружбу и, возможно, те чувства, которые я испытывал к тебе со времени твоего детства». В тот же день Наполеон написал Элизе, а также морскому министру, информируя их обоих, что Жером признал свою ошибку и что Елизавета теперь дезавуирована.
Первые слова при встрече двух братьев, как и полагается, принадлежали Наполеону: «Ты, сир, являешься первым из твоей семьи, который позорно покинул свой пост. С твоей стороны потребуется много впечатляющих действий, чтобы стереть такое пятно с твоей репутации. Что же касается твоего любовного приключения с твоей девочкой, я игнорирую его!» Затем Жером был отправлен с морской миссией в Геную, а через несколько дней назначен капитаном 44-пушечного корабля «Помон», на котором ему предстояло курсировать в прибрежных водах в эскадре из четырех других кораблей. Дело Патерсон было завершено.
Девочка Жерома, которую по-разному именовали: то «мадам Бонапарт», то «миссис Патерсон», то «та личность», прибыла в Амстердам 1 мая, через три недели после того, как она рассталась с Жеромом в Лиссабоне. Елизавета обнаружила, что была вблизи Голландии, но бригу, на котором она плыла, было приказано стоять без связи с берегом. В течение последующих восьми дней все находившиеся на его борту фактически были узниками, пребывавшими под присмотром двух военных кораблей. Только после вмешательства американского представителя в Амстердаме бригу было позволено поднять якорь и уплыть в Англию.