Комиссары попали в очень щекотливое положение. Вокруг них стояла еще неразоруженная Императорская гвардия, а их самих сдерживал приказ обращаться с пленником уважительно. Они запросили новые инструкции и получили их, однако ответ их повелителей — что Наполеон может сам выбрать маршрут, но должен немедленно выезжать в Сен-Тропе с императрицей ли или без нее — по-прежнему связывал им руки. Наполеон был признанным мастером протокольного покера. Он раскритиковал выбранный маршрут и внес в него масссу изменений. Затем он надолго затянул сборы, набив не менее сотни фургонов мебелью, книгами и предметами искусства, чтобы скрашивать ими свою ссылку; он бранился, ворчал, упрямился и спорил. Кэмпбелл рассказывает, что облик Наполеона в этот промежуток времени оставлял желать много лучшего. Однажды он явился с крошками нюхательного табака, украшающими его жилет, подбородок и нижнюю губу. Его излюбленным фокусом была игра в чертика в коробочке. Он появлялся из своего кабинета, и, когда слуги широко распахивали двери и объявляли его имя, а все вскакивали на ноги, поворачивался на каблуках и снова удалялся в кабинет. При других обстоятельствах и с другим ведущим актером это могло бы стать забавным фарсом, и, может быть, он валял дурака, в душе надеясь отомстить за те унижения, которым подвергли его державы-победительницы. Но все равно зрелище было тягостным, особенно для терпеливого Коленкура, который любил Наполеона.
Он распрощался с приближенными, вручив Коленкуру, своему лакею Констану и мамлюку Рустану крупные денежные суммы. На Эльбу его должны были сопровождать генералы Бертран и Друо вместе с четырьмя сотнями тщательно отобранных ветеранов, среди которых разгорелось свирепое состязание за право разделить эту честь или наказание, — смотря с какой стороны взглянуть на уготованное для Наполеона подсахаренное мученичество.
Ряды сторонников империи мало-помалу редели с каждым днем. Рядом с Наполеоном еще оставались Маре, генералы Бельяр, Гурго (который разделил с императором и его вторую ссылку), Флаот, любовник его падчерицы Гортензии, барон Фейн — его секретарь и кучка других, но все легендарные фигуры уже разбрелись; многие из них помирились с Бурбонами. Двор, сбежавший в Блуа, распался и рассеялся по стране под лавиной событий. Мария Луиза и ее сын вернулись в Орлеан, а затем в Рамбуйе, где императрица встретилась с отцом, Францем Австрийским. Убедить ее отправиться в Вену под почетным конвоем оказалось несложно. У императрицы на службе оставался доктор Корвизар, выдающийся врач, который спас ее и ее сына при труднейших родах в 1811 году. Его присутствие должно было стать оправданием претензии, что здоровье императрицы не позволяет ей противиться решимости ее отца обрубить все связи династии Габсбургов со свергнутым авантюристом.
Мать Наполеона, полагая, что предсказанное ею падение империи более чем оправдалось, направилась в Италию вместе с жизнелюбом кардиналом Фешем, ее единоутробным братом. Люсьен, второй брат Наполеона, много лет проживший пленником в Вустершире, вскоре присоединился к ним. Элиза, старшая сестра Наполеона, изгнанная из своих тосканских владений, также направилась в Рим, а три экс-короля — Жозеф, Луи и Жером — уехали в Швейцарию. Таков был клан Бонапартов. Каждый его представитель обнаруживал удивительное умение приспосабливаться к обстоятельствам, да еще и делать это с комфортом. Они не были рождены героями и не видели причины, почему бы не получить максимум удовольствий от грядущих лет и не жить точно так же, как они прожили прошлую блестящую эпоху.
Генерал Келер, австрийский комиссар, наконец сумел убедить Наполеона, что тому не стоит рассчитывать на Марию Луизу как на спутницу по путешествию, и утром 20 апреля императору сообщили, что оберцеремониймейстер двора объявляет — к отъезду все готово. Наполеон немедленно взорвался: «Я должен все делать по часам оберцеремо-ниймейстера? Я поеду когда захочу! Может быть, я вообще не поеду! Оставьте меня».