Видимо, Гуго желал опередить остальные отряды крестоносцев и первым оказаться в пределах Византии в расчете на то, что именно он как первый прибывший и получивший от императора львиную долю почестей, будет восприниматься потом как предводитель всего крестоносного воинства. Впрочем, этим планам не суждено было осуществиться. Во время плавания флот графа Гуго попал в сильный октябрьский шторм у берегов Греции, и большинство его кораблей вместе с рыцарями и гребцами погибли. Сам граф едва спасся и был доставлен вначале в Диррахий, а затем в Константинополь по сути на правах почетного пленника, от которого Алексей I Комнин сразу по прибытии потребовал принесли вассальную присягу на верность императору. Так граф Вермандуа Гуго действительно стал одним из первых, если не самым первым из предводителей крестоносцев, достигшим столицы Византийской империи в самом конце октября – ноябре 1096 г., однако это не принесло ему желаемого высокого положения. К лишенному собственного отряда военачальнику относились скорее как к почетному гостю или даже пленнику, не предоставив ему полной свободы действий. Тем более что шедшие буквально за ним по пятам западные рыцари – Боэмунд Тарентский благополучно высадился в Греции две недели спустя – сохранили свои отряды в целости и благодаря этому выглядели в глазах императора гораздо более важными предводителями крестоносцев.
Другие соотечественники Гуго из центральной и северной Франции выдвинулись в поход позже, в октябре 1096 г. В отличие от графа Вермандуа, они не спешили и, перейдя Альпы, остались зимовать в Италии. Такое промедление было обусловлено также политическими и благочестивыми соображениями, поскольку в Лукке все три крестоносных предводителя встретились с папой римским, согласовали с ним планы действий и получили от него благословение. Лишь весной они переправились через Адриатику и достигли Константинополя по Эгнатиевой дороге. Продвижение рыцарских отрядов крестоносцев, состоявших из профессиональных воинов, оказалось для местных жителей еще более бедственным, чем недавний проход бедняцких ватаг. Если с первыми могло легко справиться византийское войско и даже сами горожане и крестьяне, то обученные воевать и хорошо организованные феодалы были им не по силам. Дорога в Константинополь через византийские владения была в итоге отмечена множеством грабежей, причем особенно буйным стало поведение отрядов Боэмунда Тарентского, то и дело сходивших с основного пути, чтобы вдоволь пограбить окрестности.
Не гнушались грабежом и другие предводители крестоносного воинства. Так, предлогом для грабежей рыцарям Готфрида Бульонского стало известие о том, что византийский император якобы держит в плену графа Вермандуа Гуго. Воины графа Тулузского Раймунда разграбили фракийские города Руссу и Редесто. Это заставляло византийские власти действовать по отношению к пришельцам весьма жестко. С одной стороны, было налажено снабжение их продовольствием и обеспечено беспрепятственное продвижение к Константинополю. Алексей I выслал навстречу отрядам крестоносцев чиновников, которые должны были сопровождать их до столицы. С другой стороны, были приняты все меры для того, чтобы разобщить предводителей и не дать им объединиться до прибытия на прием к императору. А находившимся на византийской службе печенегам было приказано сопровождать «варваров», как византийцы называли западноевропейцев, обстреливать и отгонять их, если те отклонятся от маршрута для грабежа окрестных земель.