Первыми — в марте 1101 г. — через Краину и Венгрию добрались до Константинополя ломбардцы. Они отказались переправляться на азиатский берег, на чем настаивал император Алексей, и начали уже штурмовать укрепленный монастырь Козьмы и Дамиана у ворот Константинополя. С большим трудом удалось архиепископу Ансельму и другим предводителям утихомирить их. Для ломбардцев император сумел подобрать опытного командующего, графа Раймунда Тулузского, освободителя Гроба Господня. Тот прибыл в Константинополь в июне 1100 г. и жил, пользуясь широким гостеприимством императора. В его лице Алексей нашел единомышленника: оба ненавидели Боэмунда. Между ним и императором был заключен союз, целью которого было изгнание нормандцев из Антиохии, а графу было обещано что-то вроде должности наместника императора на уже завоеванной крестоносцами территории и на той, которую еще предстоит завоевать. Ломбардцы с уважением встретили графа — прославленного воина, и ему удалось уговорить их в конце апреля переправиться через Босфор.
К войскам графов Этьена де Блуа и Этьена Бургундского и герцога Эда Бургундского, вышедшим позднее (весной 1101 г.), по дороге присоединились войска рейхсмаршала Конрада. Общее количество вооруженных паломников в этой объединенной армии составляло около 10 000 человек. Они прошли через Италию и переправились через Адриатическое море. Когда они добрались до Константинополя, император снова сумел заставить их принести ему присягу за обещание помочь добраться до Сирии. Они приняли предложение императора взять командующим Раймунда Тулузского. Ломбардцы также признали его командующим, но наотрез отказались идти по предложенному им маршруту через Дорилею и Иконий. Они видели свою цель в освобождении из турецкого плена своего кумира, знаменитого земляка — князя Боэмунда Антиохийского. Архиепископ Миланский и граф Бьяндратский поддержали земляков. И граф, который не мог обойтись без многочисленного воинства итальянцев, вынужден был отклониться от маршрута, намеченного императором, и вести ломбардцев и примкнувшие к ним отряды французов и немцев к Никсару, чтобы освободить своего злейшего врага Боэмунда. Вместе с франками пошел полутысячный отряд императорских печенегов.
Однако если горы трупов простонародного сборища Петра Пустынника призвали первые армии крестоносцев к осторожности и соблюдению дисциплины, то эти арьергардные армии, может быть, под влиянием блестящих побед крестоносцев первой волны, отличались самоуверенностью, легкомыслием и полной неосторожностью, а при неудачах легко впадали в панику. Войска сопровождали толпы невооруженного народа, женщины, слуги и дети. Было бы чудом, если бы такие армии смогли пройти через Анатолию, и чуда не произошло.
В конце мая 1101 г. армия графа Тулузского вышла из Никомедии и в июне захватила штурмом Анкиру, принадлежавшую Кылыч Арслану. Город был отдан императору. Далее армия двинулась по тропе на северо-восток на Гангру, вдоль левого берега Галиса (Кызыл-Ирмак). У Гангры тропа вливалась в главную дорогу на Амасею и Никсар. Крестоносцы перешли реку у Османджика. Кылыч Арслан отступал перед ними, оставляя за собой «выжженную землю».
Наученные горьким опытом 1097 г., когда крестоносцы разбили их поодиночке, турецкие эмиры объединились. На помощь султану Кылыч Арслану Иконийскому и эмиру Каппадокии Данишмендиду Малик Гази привели свои войска месопотамские эмиры и даже эмир Ридван Алеппский.
В начале июля армия крестоносцев добралась до Гангры. Крепость была хорошо укреплена, взять ее не удалось. Когда было съедено все продовольствие, усталая и голодная армия по июльской жаре была вынуждена двинуться дальше. И тут ломбардцам было видение — какие-то святые дали им указание, что нужно идти на север, к Костамуни (Кастро Комнин) и далее к Черному морю. Этот новый маршрут был принят графом Раймундом, который надеялся оправдать перед императором отклонение от маршрута освобождением родового гнезда Комнинов. Армия двигалась, со всех сторон окруженная турками, которые уничтожали хлеб на полях и нападали то спереди, то сзади. Вначале был разбит авангард, состоявший из ломбардцев, причем рыцари ускакали, а пехота была уничтожена. Граф Этьен Бургундский со своими рыцарями с трудом смог восстановить положение. На следующий день турки напали на арьергард, которым командовал Раймунд, и ему пришлось двигаться вперед, непрерывно отбиваясь.