Эффекты этой тайной деятельности были настолько интересными, что когда рапорт Али-бея добрался в Мадрид, Годой назвал его (в июле 1804 года) "новым Кортесом" и одобрил план посылки в Марокко двухсоттысячного испанского корпуса. Именованный шеф-координатором всей этой операции, Али-бей объехал восставшие племена и, возвращаясь из этой поездки, позволил себе въехать в Марракеш под несомым слугой зонтом, что было привилегией исключительно правящих. У испанца явно зашумело в голове. Ну а действительно, почему бы ему и не занять место Мулай Слимана? Султан Али-бей эль Аббаси звучит очень красиво. Только вот английскому консулу в Танжере, Джеймсу Метри, так не казалось. Когда Метри приступил к контрдействиям, предупреждая двор Мулай Слимана и одновременнно информируя Лондон, что... Наполеон готовит наступление на Северную Африку (повидимому, британская разведка в Марокко должна была напасть на след парижских контактов Али-бея), испанские планы пошли псу под хвост, а у "нового Кортеса" земля начала гореть под ногами. Тогда он заявил, что уже не может откладывать хадж в Мекку и в марте 1805 года выехал из Марракеша в сторону Алжира. Его арестовали, он сбежал, его снова схватили и перевезли под усиленной стражей в Лараш, где посадили на фрегат из Триполи и выставили из Марокко. Голову он спас лишь потому, что до самого конца последовательно изображал Аббасида потомка великих багдадских калифов никто не осмелился тронуть. Если бы стало известно, что он испанец, его бы разорвали на куски.
Но поражение не сломило его. Возможно, Бадия превратился в мусульманина только внешне, поскольку, как и все жители Ориента, стал фаталистом: все идет так, как должно быть. Его же интересовало то, что будет. По очень запутанному маршруту через Триполи, Кипр, Александрию и Розетту он прибывает (в ноябре 1806 года) в Каир, где его принимали с огромным почитанием, но многие удивлялись, что сириец говорит... с магрибским акцентом. Али-бей объяснил это из-за долгой учебой у испанцев - да поразит Аллах всех этих неверных собак! - и пребыванием в Марокко. Объяснение было принято, и необыкновенно набожный Али-бей направился в Мекку и прибыл туда в ночь с 22 на 23 января 1807 года, что позволило ему украсить "родовое" имя гордым дополнением Эль Хадж (Паломник). Таким образом Бадия Кастильо и Леблих стал, по-видимому, первым европейцем и христианином, которому удалось коснуться Черного Камня Каабы. Опять-таки, если бы его раскрыли, то, согласно обычаю, забили бы камнями. Близость подобного рода опасностей для таких как он людей была приправой, без которой жизнь пресна.
Возвратившись в Каир, Бадия узнал, что в Константинополе янычары свергли с трона султана-франкофила Селима III. Он понял, что французы уже начинают терять влияние на Востоке, и догадался, что те будут стараться восстановить его любой ценой, а для этого им понадобятся тайные агенты... Не задумываясь ни на минуту, он помчался через Дамаск, Константинополь и Бухарест в Париж и предложил свои услуги Наполеону. Но тут его встретило неприятное разочарование. Бадия был уверен, что это он - ас в своей деятельности, а к тому же еще и "мусульманский аристократ" - будет ставить условия. Тем временем, император удостоил его всего лишь нескольких фраз (во время встречи в Байонне), а французская разведка хитроумно выудила от него марокканскую переписку с Годоем и приказала ожидать. Им не хотелось вовлекать в свои дела нестойкого интригана, но не хотелось и того, чтобы "безработный" предложил свои услуги, скажем, англичанам. Ему обещали подготовку какой-то интересной миссии "в подходящий момент", а временно именовали (1810 год) префектом Кордовы, не давая сбежать, хотя и не совсем. В это время Бадия имел какую-то связь с остатками британских коммандос, которые в 1806 году пытались похитить Наполеона в Пруссии (операция "Шахматист") и сейчас осуждались собственными работодателями. Бадия помогал им в этой личной конспиративной деятельности под именем "Калиф".
В 1815 году, после падения Наполеона, Бадия представил новым французским властям "Мемориал о колонизации Африки", предлагая в том числе и установление на одном из восточных тронов какого-нибудь "до совершенства мусульманизированного европейца" (из подтекста следовало, что во всей Европе имеется только один такой гений), Предложение-химера была принята с холодком, и ему вновь приказали ждать. Ждал вплоть до 1817 года, когда было принято решение сделать из него агента на Востоке. 18 января 1818 года он отправился в Африку, на сей раз уже не как Али-бей эль Аббаси, но Хадж Али Абу Отман. Целью его миссии, скорее всего, было склонить к Франции повелителя Египта, Мехмеда Али, и разорвать контакты англичан с Вагабитами.