Жозеф не был привлечен для консультаций при обсуждении этих предложений. Наполеон все меньше и меньше склонялся к тому, чтобы принимать во внимание своих братьев и сестер. Во всяком случае, Жозеф находился теперь как бы под домашним арестом, и ему было запрещено посещать Париж без особого разрешения. Уязвленный такими ограничениями, Жозеф послал свою привлекательную жену Жюли, чтобы она попыталась переубедить ее деверя. Но Жюли потерпела неудачу, и в конце концов любовнику Гортензии де Флаоту было поручено привезти Жозефа в Тюильри, где ему было сказано о восстановлении на троне Фердинанда. Либо тлевшие искры амбиций, либо желание расплатиться за недавнее унижение побудили Жозефа выдвинуть яростные возражения против такого урегулирования дел. Возникла необходимость заполучить его формальное отречение от трона, чтобы продвигать этот проект, но Жозеф начал излагать разного рода возражения против него, доказывая, что формально, во всяком случае, он все еще оставался королем Испании и мог не желать отречения. Со стороны человека, который не правил ни единым клочком испанской территории и совсем недавно был изгнан из удерживаемых лишь вооруженными силами провинций, было странно слышать такую речь, но он это утверждал, и Наполеон столкнулся с величайшими затруднениями в попытках переубедить его. 7 января 1814 года, незадолго до своего отъезда на фронт, Наполеон послал ему раздраженное письмо, объясняя различные причины восстановления Фердинанда на троне, а когда Жозеф противопоставил этому новые аргументы, император в ответном письме потребовал от своего брата на сей раз публичной клятвы в верности Марии Луизе, как регенту. «Возможно, что ты не сможешь этого сделать, — ехидничал он, — возможно, у тебя недостаточно здравого смысла! В этом случае вернись в провинции так незаметно, как только сможешь. Если мне суждено еще прожить, ты можешь быть спокоен. Если же я умру, ты будешь арестован и, возможно, приговорен к смерти. Ты станешь бесполезным для меня, для моей семьи, для своих дочерей и для Франции, и ты уберешься с моего пути. Выбирай побыстрее и решай, что ты станешь делать».
В конце концов Жозеф уступил, но, чтобы убедить его в необходимости такого шага, потребовалось совместное давление со стороны его матери, жены и на последнем этапе — Луи. Тогда он дал согласие на сотрудничество, но лишь при условии, что сохранит свой королевский титул и всегда будет известен как король Жозеф.
Между тем свояк Жозефа, ренегат Бернадотт, освободил Голландию. Бывший король Луи, который еще недавно любил всем давать советы, начал пересматривать собственную позицию и также решил сохранить свой титул вопреки тому факту, что Голландия не хотела иметь с ним ничего общего.
Из Кельна пришло сообщение от Жерома, обещавшего вернуться во Францию и пополнить ряды лишившихся тронов Бонапартов, которые обосновались в Париже и около него. В Вестфалии все было потеряно, и карета гессенского выборщика была с триумфом протащена по улицам Касселя уже через неделю после отъезда Жерома. Бегство Жерома не было столь же недостойным, как исчезновение Жозефа, так как по крайней мере некоторые из его подданных пытались защитить столицу. Казаки появились под Касселем 27 сентября 1813 года, а Жером выскользнул из города ранним утром следующего дня в сопровождении своих телохранителей. Там не было никакого восстания (несомненно, вестфальцы полагали, что они столь же успешно могут быть ограбленными казаками, как и Жеромом), но 13 октября, вскоре после великой битвы под Лейпцигом, один из генералов Жерома вновь захватил город. В качестве награды он был произведен в графы с пенсией в 6 тысяч франков в год, хотя его шансы на ее получение были столь же сомнительны, как и возможность его суверена одолжить достаточно средств, чтобы выплачивать ее. Когда новости о катастрофе под Лейпцигом достигли Касселя, все возможности удерживать Вестфалию для Франции были потеряны, и Жером вместе со своими сторонниками, которых теперь насчитывалось около сотни, перебрался через границы Берга, последнего германского государства, где еще развевался французский флаг.