Гортензия превратилась в настоящую знаменитость. Ей нанес визит даже сам герцог Веллингтон, причем держался «с особой почтительностью». Гортензия получала нечто большее, нежели просто комплименты. В конце мая король Людовик сделал ее герцогиней де Сен-Ле, подтвердив тем самым ее права на принадлежавший ей замок, а также увеличил ее ежегодное содержание по цивильному листу до 400 тысяч франков. Всем этим она была обязана дружбе с Александром I. Эти новости повергли ее живущего в изгнании супруга, который уже давно величал себя графом Сен-Ле, в неописуемую ярость и глубоко задели чувства отчима.
Наиболее непредсказуемым следствием крушения империи стало то, что Полина неожиданно для всех, развила кипучую деятельность. Она проявила недюжинную деловую хватку, уполномочив своего старого друга и любовника полковника Дюшана продать ее парижский особняк со всем имуществом, а также другую собственность. Особняк приобрел герцог Веллингтон, который теперь стал в Париже английским посланником, заплатив за него 800 тысяч франков, т. е. в два раза больше, чем тот обошелся Полине. С продажей Шато Нейи вышла неувязка, так как Камилло Боргезе требовал возвращения принадлежавшей ему собственности, а именно 175 ценных живописных полотен. Однако после долгой тяжбы Полина добилась для себя приемлемой компенсации. Ее драгоценности, приобретенные когда-то по легкомыслию, также оказались прекрасным вложением капитала. Тем временем принцесса объявила, что желает посетить Неаполь, и 30 мая отплыла из Сен-Рафаэля на борту неаполитанского фрегата «Летиция», посланного специально для нее королем Иоахимом. Три дня спустя судно вошло в гавань Портоферрайо, столицы Эльба. Полина пришла в ужас, увидев в какой бедности живет император, и тайком дала генералу Бертрану, «министру внутренних дел» Эльбы, бесценнейшую бриллиантовую брошь, чтобы заплатить за строительство тенистой летней виллы в лесах острова. Проведя на Эльбе лишь одну ночь, Полина отплыла в Неаполь. Несомненно, как догадывалась полиция Людовика XVIII, она отправилась в Неаполь для обсуждения возможного союза с вечно мечущимся между двух огней Мюратом. Полина везла с собой для деверя секретное послание, чтобы тот был готов, когда будет объявлено, что император возвращается во Францию. В глубине души эта увядающая нимфоманка, обычно занятая исключительно собственной особой, ничуть не уступала своей сестре в хитрости и коварстве.
Эльба — совсем небольшой островок, шестнадцать миль в длину и семь в ширину, скалистый, бесплодный, поросший кустарником. 12 тысяч местных жителей мало чем отличались от корсиканцев детских лет Наполеона. Четверть населения проживала в столице, рыболовной гавани Портоферрайо, которая, если чем и могла похвастать, то только единственной, кишащей блохами гостиницей. Имелась здесь и своя горстка относительно зажиточных семей, главным образом тосканцев, генуэзцев или корсиканцев по происхождению, а их представители занимали большинство муниципальных должностей. «Дворцом» императору служила вилла Деи Мулини в Портоферрайо, причем удобства здесь были весьма стесненными. Тем не менее Наполеон настоял на том, чтобы для его супруги и сына были приготовлены апартаменты из четырех комнат на каждого, и даже приказал расписать потолок гостиной (по иронии судьбы это был сюжет, изображавший супружескую верность). Вилла, несомненно, была очаровательным уголком для отдыха, однако вряд ли подходила для человека, покорившего всю Европу. Наполеон пытался как-то занять себя и организовал двор в миниатюре, крошечную армию и еще меньший флот.
На деньги, вырученные за брошь Полины, он выстроил загородный домик у Сан-Мартино, однако, когда строительство было завершено, редко бывал там. Было у него еще одно место уединения — заброшенный приют «Мадонна дель Монте» в горах, на западной оконечности острова, куда можно было попасть лишь по крутой горной тропе. Там он проводил почти все свое время.
Очарование этого места заключалось главным образом в уединении. Поздно вечером 1 сентября с борта брига на берег сошли четыре человека, причем не в Портоферрайо, а в рыбацкой деревушке Сан-Джованни. То были Мария Валевская, ее сын Александр, ее сестра Мария и ее брат полковник Теодор Лачиньский. Они под покровом ночи отужинали с Наполеоном и переночевали в приюте, а на следующее утро снова отплыли с острова.