И все же на оккупированных франками территориях отношения с местным населением были неоднозначными. Даже в тех районах, где мусульмане сами решили остаться, время от времени вспыхивали бунты и совершались массовые исходы. Мусульмане восставали в 1113 году в районе Наблуса, в 1130-х и 1180-х в районе Джабал-Бахры, в 1144 году в южной Трансиордании; в конце века происходили крестьянские волнения в Палестине, которые совпали с приходом Салах-ад-Дина. В 1150-х годах, после неоднократных протестов против несправедливостей и вымогательств, чинимых правителем Мирабеля, жители восьми деревень в районе Наблуса покинули свои дома и бежали через Иордан в Дамаск. Эти переселенцы из Иерусалимского королевства и беженцы из других латинских государств осели в городах в глубине страны, а в Алеппо и Дамаске они даже занимали особые кварталы. Эти-то беженцы и были главными пропагандистами священной войны против франков, в случае победы над которыми они смогли бы вернуться к себе домой. Они искали вождя.
Первым кандидатом на эту роль стал Илгази, член клана Артуков, одной из многих тюркских племенных групп, воспользовавшихся распадом сельджукской империи и образовавших на ее территории маленькие княжества. Когда жители Алеппо обратились к Илгази с предложением принять власть в их городе и защищать его против Роджера Антиохийского, он был правителем Мардина. Илгази согласился возглавить священную войну и, взяв со своих подданных клятву участвовать в джихаде, разбил крестоносцев. Однако во многих отношениях Илгази не соответствовал идеальному образу предводителя священной войны. Он был пьяницей, и его главные интересы сводились к укреплению своей власти в Мардине и расширению подвластных Мардину территорий, а вовсе не к разрушению Антиохийского княжества. Илгази умер в 1122 году, так и не оправдав ожиданий доверившихся ему жителей Алеппо.
Следующим и более удачным кандидатом на роль предводителя джихада оказался мосульский атабек Имад-ад-Дин Зенги (правил в 1127–1146). Мосульский историк XIII века Ибн аль-Асир впоследствии писал о нем, что если бы «Бог по Своей великой милости не пожелал, чтобы атабек [Зенги] завоевал Сирию, то франки полностью бы ее захватили». В 1128 году Зенги занял Алеппо, жители которого, боясь угроз членов секты ассасинов внутри города и наступления франков, не сопротивлялись. Как и многие другие назначенные Сельджукидами атабеки, Зенги использовал свое положение для того, чтобы создать для себя независимое княжество в северном Ираке, организованное по образцу иранского султаната Сельджукидов. Как и они, Зенги организовывал и поддерживал мадрасы (
Мадраса (учебное заведение, в котором преподавались Коран и религиозный закон) представляла собой чисто суннитское заведение, и одной из главных его задач являлось противодействие проповеди шиитов; ханаках [также называемые завийа —
Благочестивые мусульмане, особенно жители Алеппо, видели в Зенги человека, самой судьбой предназначенного предводительствовать священной войной, однако во многом он не оправдал их веру в него. Большую часть времени Зенги тратил на борьбу со своими мусульманскими соперниками и на расширение подвластных ему территорий. Он очень хотел присоединить к своим сирийским владениям Дамаск, но правитель Дамаска Муин-ад-Дин Унур опередил его, заключив союз с Иерусалимским королевством. Однако в 1144 году, благодаря неожиданному счастливому стечению обстоятельств, Зенги сумел отвоевать у латинян Эдессу. Историк Михаил Сирийский оплакивал падение города: «Эдесса превратилась в пустыню; тяжелое зрелище, место, покрытое черным одеянием, напоенное кровью, усыпанное трупами своих сыновей и дочерей! Вампиры и дикие животные ворвались ночью в город, чтобы попировать плотью убиенных, и он стал жилищем шакалов; и никто из людей не входил туда, кроме тех, кто искал сокровищ».