Случилось именно то, что и предвидел Меттерних, выбрав Нейпперга на выполнение столь деликатной миссии. Еще 18 августа 1814 года Мария-Луиза писала Наполеону с искренней любовью: «Как счастлива бы я была, сумей присоединиться к тебе в тот момент, когда со мной будет сын. Я распорядилась, чтобы его привезли ко мне, как только получила от отца письмо, в котором он приглашает меня в Вену на конгресс, где будут обсуждаться интересы моего сына. Я чувствую себя совершенно несчастной при мысли, что я не с тобой на твоем счастливом острове. Он стал бы для меня раем».
Это письмо стало последним, которое Мария-Луиза отправила императору как любящая супруга. Оно было написано в ответ на секретную записку, доставленную в Экс-ле-Бен тремя тайными агентами. В ней Наполеон умолял супругу приехать на Эльбу одной; в Генуэзской гавани ее уже поджидал специальный бриг. Однако один из агентов, Мюро де Сорбе (капитан императорской гвардии на Эльбе), был разоблачен и арестован. Мария-Луиза была вынуждена дать отцу обещание, что не посмеет уехать на Эльбу без его разрешения. Она даже согласилась вернуться в Вену через Швейцарию. И коль ей возбранялось жить на Эльбе, она все еще лелеяла надежду править в Парме, а мысль потерять эти владения страшила ее. Мария-Луиза неплохо провела время в Швейцарии. 24 сентября она посетила капеллу Телля и, застигнутая ужасной грозой, была вынуждена заночевать в местной гостинице «Золотое солнце», где и стала любовницей генерала. Не успела она вернуться в австрийскую столицу, как венские острословы окрестили ее «мадам Нейпперг». Во избежание двусмысленности ее положения и ради того, чтобы сей роман мог продолжаться и дальше, Нейпперга назначили ее камергером.
Как и следовало ожидать, Жозеф сумел устроить для себя в ссылке недурное финансовое положение. Когда он бежал из Парижа, то прихватил с собой семь подвод, груженных серебром и дорогой мебелью. По чистой случайности, американец французского происхождения Джеймс ле Рей предложил ему свои услуги, как только в начале апреля Жозеф объявился в Блуа. Будучи всегда лучшим бизнесменом, нежели политиком, Жозеф обменял свои пожитки на недвижимость в США.
С помощью ле Рея он нанял себе в секретари молодого американца Джеймса Каррета. Правда, прошло некоторое время, — прежде чем ему понадобились собственность и секретарь. В конце месяца Жозеф добрался др Швейцарии, где быстро приобрел прекрасное старинное Шато Пранжен на берегах Женевского озера, а заодно с поразительной быстротой продал Морфонтен и перевез свою великолепную коллекцию произведений искусства во вновь приобретенный особняк. «Граф де Сюфвилье» (инкогнито Жозефа) принимал там толпы посетителей, в то время как Жюли вела куда более скромный образ жизни в Отей на окраине Парижа. Среди гостей Жозефа была и его невестка, Мария-Луиза, которую пока что не держали в изоляции. Ради такого события Жозеф даже принарядился в форму испанского маршала. Правда, положение его не было слишком прочным. Швейцарцы никогда не питали особой любви к Бонапартам, да и французское правительство настаивало на том, чтобы Жозеф покинул Швейцарию. Другая невестка, шведская принцесса Дезире, пыталась хлопотать за него перед Людовиком XVIII, но король дал одно-единственное обещание, что не станет беспокоить Жюли.
Жером отправил Екатерину, с которой еще год назад пытался развестись, к ее родным, чтобы добиться от них помощи или содействия. Он ничуть не сомневался, что ее примут в Вюртемберге, где она останется жить за счет семьи. Однако Вюртембергская родня не проявила ровно никакого сочувствия. Как позже сказал Наполеон, имея в виду Жерома, «то, как держала себя его супруга, чей отец, ужасный, бессердечный деспот — король Вюртемберга, требовал, чтобы после моего падения, она развелась с мужем, достойно восхищения». В Париже ее брат кронпринц даже не пустил ее на порог. Снова и снова отец требовал от Екатерины, чтобы она оставила своего никчемного супруга, но дочь и слышать не хотела. Ей удалось расположить к себе своего кузена, царя Александра I, который назначил ей пенсию, выхлопотал для нее и Жерома паспорта и пообещал добиться для них небольшой компенсации за потерю Вестфалии. И хотя Екатерина была уже на сносях, тем не менее по первому зову выехала к супругу в Берн. По пути она пережила кошмарное приключение, попав в лапы маркизу де Мобрелю, бывшему конюшему ее супруга. Он отобрал у нее все ее драгоценности на сумму 150 тысяч франков и 84 тысячи франков золотом. Заточенная разбойником в амбар Екатерина была вынуждена униженно просить его дать ей назад хотя бы тысячу франков, чтобы она могла по крайней мере продолжить свою поездку. К августу Жером и Екатерина подыскали себе пристанище в Триесте, хотя и страдали от постоянного безденежья. Здесь она родила сына, которого назвали Жером-Наполеон. Чувства Бетси Патерсон при этом в расчет не принимались.