Мюрат пришел в такую ярость, получив этот укор, что чуть было не последовал совету Каролины открыто выступить против своего благодетеля. А далеко на севере бывший маршал Бернадотт, теперь уже кронпринц, объявил войну Франции, а ведь Бернадотт был свояком Жозефа. Но что-то все же мешало Мюрату принять окончательное решение. Возможно, это было связано со слабостью характера, которую подметил Наполеон, но, может быть, это было нечто большее — остатки преданности к своему товарищу, которого пыталась предать его собственная сестра. Мюрат колебался между различными курсами, проводя переговоры с Австрией и пробираясь на север, чтобы взять на себя командование истощенной кавалерией Великой армии. По дороге он встретил курьера, спешившего с депешами из Вены в Неаполь, но они были зашифрованы, и ему пришлось отослать их домой для расшифровки. Это решение приняло иронический характер: в депешах выражалось согласие Австрии принять его собственное и Каролины предложение покинуть Наполеона, если им будет гарантировано сохранение власти короля и королевы Обеих Сицилий. К ранней осени того же года Австрия присоединилась к русским, пруссакам и шведам в военных действиях против Наполеона, а Мюрат, который при большей удаче и чуть большем нытье мог бы присоединиться к ним, теперь вот оказался руководителем блестящих кавалерийских наскоков на своих возможных покровителей. «Видишь ли тех людей с гладкими сверху киверами? — спрашивал сержант пехоты семнадцатилетнего новобранца при начале военных действий против Австрии. — Они пятьдесят раз убегали от нас в 1794 году». И они снова разбегались, когда Мюрат в пылу боя моментально забывал о своем предательстве и возглавлял один из своих поразительных кавалерийских налетов, которые помогли выиграть битву под Дрезденом.
Но именно в Дрездене Наполеон получил сообщение о новой катастрофе в Испании. Следуя инструкции отойти к Вальядолиду, Жозеф с редким для себя оптимизмом решил остановиться и вовлечь Веллингтона в заранее подготовленное сражение под Виторией, которое и состоялось 21 июня 1813 года. Это было совершенно неразумное решение, так как англичане обладали преимуществом и в количестве солдат, и в их расположении на местности, и все это привело к самому тяжелому поражению, которое терпели французы на полуострове. Маршал Журдан, занимавший положение главного военного советника Жозефа, предупреждал его о возможных последствиях еще до того, как был сделан первый выстрел, но Жозеф продолжал настаивать на своем. Через пару часов французы были разгромлены, а Жозеф скакал по направлению к границе. Журдан, который приучился в Испании мыслить философски, заявил: «Ну что ж, вы получили свою битву, и она, как представляется, оказалась проигранной!» Но не только битва была проиграна. Вдобавок к этому бегство Жозефа было столь поспешно, что ему пришлось оставить столовое серебро, ценную коллекцию испанской живописи и ящик для расчетов с военными, содержавший 27 миллионов франков. К счастью для него, англичане оказались опытными грабителями и, внимательно осматривая королевскую карету, дали ему время улизнуть, в чем он очень нуждался, так как был плохим наездником. За несколько лет до этого, когда непобедимые французские армии ожидали сигнала для вторжения в Англию и разбили лагерь в Булони, Наполеон решил, что Жозеф в качестве подготовки к военной карьере должен пройти обучение солдатом и брать уроки верховой езды. Оправляясь от тяжелого падения с лошади при бегстве из Витории, он мог бы подумать, что его обучение в школе верховой езды было недостаточным.
Две тысячи испанских семей, которые приняли суверенитет Жозефа, опередили его на пути через Пиренеи. Эти «жозефинос», как их презрительно называли соотечественники, не стали ждать, одержит ли король победу в этой битве. Как эквиваленту XIX века квислингам времен Второй мировой войны, им оторвали бы головы, если бы они были пойманы партизанами. После их отъезда лишь одна часть испанской нации признавала французское владычество, и это происходило на юго-востоке, где водворился маршал Сюше. Безудержное бегство Жозефа сделало неизбежным и отъезд Сюше. К октябрю англичане уже находились у французской границы, и власть Жозефа, короля всех испанцев, отошла в историю.
Один человек в Европе отказывался признать этот факт, и он был вдохновителем всего этого смятения, которое царило на полуострове со времен байоннского трюка в 1808 году. Читая депеши с информацией о поражении в Витории, Наполеон послал за маршалом Сультом, который так долго и так безуспешно мечтал о троне Испании или Португалии. Сульту было приказано выехать на юг и удерживать линию по Пиренеям так долго, как это было возможно. Он уехал в тот же день и сразу же блестяще показал себя в продолжительных арьергардных боях, которые велись и в последующую весну. Англичане в конце концов нанесли ему поражение, но до этого он заслужил у них репутацию, которая оказалась ему полезной в его преклонные годы.