Еще более масштабными стали грабежи в лежавших на пути крестьян Венгрии и Болгарии, а затем и в Византии, которые воспринимались уже как чужеземные страны, с другими народами, языками, существенно отличной от католичества ортодоксальной версией христианства. Кроме того, именно к этому времени окончательно исчерпалось все взятое с собой и награбленное по дороге – и деньги, и припасы. Да и местное население, и так не горевшее желанием привечать пришельцев, было встревожено тем обстоятельством, что они заявились поздней весной и в начале лета, когда урожай прошлого года был на исходе, а нового нужно было еще дожидаться. Все эти причины побуждали крестоносцев беззастенчиво грабить, а местных жителей давать им жестокий отпор. Как отмечал хронист Гийом Тирский, «самый прямой путь, который проложили те, кто первыми прошли по Венгрии, был вскоре совершенно закрыт из-за наглости паломников и из-за всякого рода злоупотреблений, которые они несправедливо чинили местным жителям».
Так, в начале июня 1096 г. отряд Готье Голяка отобрал вблизи Белграда у местных крестьян большое число лошадей, крупного рогатого скота и овец. Несколько недель спустя, в конце июня, крестоносцы другого отряда разграбили венгерский город Невтра и пограничный с византийскими владениями Землин (современный сербский Земун), убив в последнем около четырех тысяч жителей. Столь жестокая резня была вызвана предыдущими конфликтами местных жителей с пилигримами другой небольшой ватаги, которых ограбили, а одежду их развесили на крепостных стенах в качестве трофеев. Когда сюда дошел другой, более многочисленный отряд крестоносцев, его участники, завидев развешенные на стенах знакомые одеяния, решили, что горожане убили их собратьев и из мести устроили в ответ страшную резню.
Впрочем, чаще крестьянские отряды, плохо вооруженные и малоопытные, несли большие потери, ведь зачастую они имели дело не с таким же стихийным крестьянским ополчением, а с профессиональными воинами. Как сообщает хронист Альберт Аахенский, отряд во главе с Петром Пустынником потерял около четверти своего состава в стычке вблизи города Ниш. Случилось это из-за того, что одна из групп паломников в результате конфликта с горожанами подожгла из мести мельницы, расположенные у Моравского моста на реке Нишаве. Узнав об этом, правитель Ниша дука Никита организовал погоню и, атаковав отставшие отряды крестоносцев, захватил их обоз, а многих шедших в арьергарде женщин, девушек и молодых парней увел в плен. Некоторые ватаги крестьян-пилигримов и вовсе были полностью уничтожены, как это произошло вблизи венгерского города Визельбург с отрядами Готшалка, Фолькмара и Эмихо Лейнингенского. Лотарингская хроника красочно свидетельствует, что там было перебито столько крестоносцев, что Дунай покраснел от крови, и его воды не было видно под множеством трупов, плывших по реке. Предводителям, впрочем, удалось спастись и в конце концов добраться до столицы Византийской империи. В итоге после множества подобных столкновений к середине июля – началу августа 1096 г. к Константинополю подошли менее половины тех крестьян, которые изначально отправлялись в крестовый поход. Суммарная численность дошедших едва ли существенно превышала 30 тысяч человек, а возможно, была и того меньше.