Осада была снята, вьючных животных пустили на мясо. Предстояло пройти 15 миль под дождем, по грязи. Рыцари шли в арьергарде. Лишь один Кортес возражал против отступления.
И как только оно началось, командиры и солдаты окончательно потеряли боевой дух и солидарность. Особенно упали духом голодные немцы, стрелковое оружие которых стало бесполезным. Окружавшие испанцев кочевники, ехавшие верхом на лошадях, смеялись над солдатами, тащившимися по грязи и лужам. Тыл отступавших был надежно прикрыт контингентом рыцарей, защитников веры. Одна из высот, где сделали привал эти заклятые враги турок, была названа местными берберами «могилой рыцарей».
Когда отступавшие войска наконец добрались до места высадки, там они нашли лишь жалкие остатки продовольствия, множество убитых и обломки потерпевших крушение кораблей. Карл созвал военный совет, чтобы решить, удерживать ли песчаный плацдарм дальше до поступления из Европы новых поставок продовольствия и пороха, однако предотвратить уход из Алжира было уже невозможно. В последний день октября раздраженный Дориа доказывал, что ждать зимой из Европы конвоя с необходимыми грузами — утопия, а если здесь появится Барбаросса со своим флотом, то для христиан это станет полной катастрофой. Подавляющее большинство солдат мечтали лишь об одном — погрузиться на спасшиеся корабли и отправиться на родину.
Наконец потрепанная армада отправилась в обратный путь. Судьба опять отнеслась к ней немилосердно. Более трети транспортных судов утонуло, спасшиеся перебрались на корабли, выдержавшие шторм. На них не осталось места для великолепных испанских скакунов. «Цезарь (император) решил, что нельзя жертвовать жизнями солдат ради лошадей. — Так передают обстановку „Краткие мировые события“. — Он приказал сбросить животных в море. Выполнение этого приказа болью отозвалось в сердцах всадников».
По пятам следовали новые несчастья. Ураганный ветер разметал поврежденные суда по морю. Некоторые из них отнесло обратно в порт Алжир, где экипажи и солдаты были захвачены людьми Хасана-аги. Дориа укрыл Карла и несколько галер в небольшом порту Буджея, охранявшемся испанским гарнизоном. Скудных запасов гарнизона не хватало для беженцев. Ослабевшие гребцы галер больше не могли грести против сильного ветра.
Тайный агент французского короля позднее докладывал Франциску в письменном донесении о печальной судьбе людей, спасшихся в порту Буджея: «Лишь одна каракка (тип корабля) смогла добраться до упомянутого порта Буджея и затонула там, трудно выговорить, в присутствии самого императора, прежде чем из нее можно было что-либо выгрузить. В этом порту они пережили самый страшный в своей жизни голод, имея для еды только кошек, собак и траву.., зять императора убежал в одной рубашке и штанах.., погибла большая часть испанских грандов».
Прибывшие из Сицилии корабли вывезли Карла и его окружение из злосчастного порта. Капитаны кораблей сообщили, что Барбаросса вышел в море с эскадрой из ста пятидесяти парусов. (Как только Сулейман узнал на обратном пути в Константинополь, что армада императора отбыла в Алжир, он приказал Барбароссе мчаться туда на всех парусах).
Штормы, принесшие так много бед армаде Карла, сослужили императору в конце концов неплохую службу. Они вынудили Барбароссу весь ноябрь укрываться в районе греческих островов. Остатки армады пробирались вдоль европейского побережья от порта Трапани на Сицилии в испанский порт Картахену. «Это была самая ужасная из всех катастроф, известных людям, или из тех, о которых я докладывал вашему величеству, — писал Франциску тайный агент. — Он (Карл) будет помнить ее всю жизнь».
Потеря восьми тысяч солдат и половины флота значили для империи меньше, чем гибель трехсот сановников. В одном из своих посланий агент Франциска проницательно предсказывал, что Карл никогда не забудет, как он, будучи беженцем на палубе корабля из Сицилии, услышал весть о выходе в море турецкого флота под командованием Барбароссы. И действительно, в течение семнадцати лет, которые ему осталось прожить, Карл больше ни разу не отважился отправиться в морской военный поход.
В Алжире, где престарелый Хасан-ага снова с удовольствием приступил к исполнению своих обязанностей правителя, ураганный ветер с Запада еще долго называли «ветром Карла».
Катастрофа в Алжире, хотя и замалчивавшаяся, оказала немедленное воздействие на развитие европейской политики. Узнав от своих агентов о случившемся, импульсивный король Франции денонсировал свое соглашение со своим старым противником — императором. Габсбурги были вынуждены пожинать плоды своей неудачной конфронтации с османским султаном. Между тем бейлербей моря совершал по собственной прихоти набеги на итальянское и испанское побережья, подверг осаде Ниццу и зимовал в Тулоне в качестве гостя французского двора.
Как бы то ни было, Хайр эд-Дин Барбаросса победил в конфликте с половиной Европы. Он сделал Сулеймана непризнанным хозяином Средиземноморья.