Спустя какое-то время герцог Роберт объявил о своем намерении совершить паломничество в Иерусалим. Он стремился продемонстрировать свою набожность и как можно больше поднять авторитет, так что это долгое путешествие необходимо было совершить пешком. Бароны умоляли его не делать этого, поскольку при таких неспокойных взаимоотношениях между Нормандией и Францией ничто не было бы более опрометчивым шагом, чем оставить герцогство без хозяина. "Поверьте мне, — решительно возражал Роберт, — я вовсе не собираюсь оставлять вас без господина. Вот мой молодой сын, который вырастет и с божьей помощью продемонстрирует свою доблесть. Я приказываю вам признать его своим лордом, поскольку я объявляю его наследником и отдаю ему все герцогство Нормандия".
В совете воцарилась гробовая тишина, и как бы ни ругали Роберта за глупые эгоистичные поступки, в тот момент, когда он упрашивал рыцарей и епископов признать своим наследником невинного ребенка, нельзя не проникнуться жалостью и состраданием к бедному отцу. Нам жаль герцога, когда его естественное чувство к своему ребенку всякий раз наталкивается на неприятие. Используя все свои красноречие и авторитет, он умоляет исполненных презрения слушателей до тех пор, пока они не уступают. Они предупредили его об опасностях того времени, о том, что может произойти за время его отсутствия в предоставленном своей участи герцогстве, о возможных провокациях его врагов, возмущенных самим фактом существования внебрачного сына. Однако у Роберта хватает смелости настоять на своем, оставив незаконнорожденного сына во главе герцогства в качестве преемника. Он даже отправляется к королю Франции и убеждает того признать недостойного тезку Лонгсворда своим вассалом и следующим герцогом. Он также встречается с Аланом из Бретани, который соглашается быть опекуном. Наконец недовольные бароны присягают на верность маленькому лорду. Как мучительно далось им это снисходительное повиновение!
После того как все формальности были завершены, Роберт, не теряя времени, отправился в путь. Он стремился к святыням Иерусалима, отделенного от него утомительными милями пути, горами и болотами, всевозможными опасностями. Он демонстрировал свое покаяние особенным образом: называл свой путь приятным путешествием, потому что, хотя и шел пешком, тратил огромные суммы, раздавая милостыню людям, которые выходили приветствовать его. Впереди ехали герольды, которые готовили ему помещение для ночлега и обеспечивали прием. По мере продвижения к цели огромная процессия лошадей, конюхов, навьюченных мулов становилась все длиннее. Однажды они перекрыли ворота города, и смотритель, не зная, кто перед ним, набросился на герцога, задав ему хорошую взбучку, чтобы заставить процессию поспешить. Роберт остановил своих спутников, которые уже собирались поколотить стражника, и сказал, что весьма полезно показать себя смиренным и терпеливым и что подобные страдания очищают душу.
Герцог наделал множество глупостей. Например, он велел подковать своих лошадей серебряными подковами, закрепив одним-единственным гвоздем. И он приказал слугам не подбирать подковы, а оставлять их лежать на земле.
Наконец паломники достигли Константинополя, где Роберт с размахом продемонстрировал и свое богатство, и свои вызывающе плохие манеры. Император Михаил, следуя традициям восточного гостеприимства, вел себя в отношении невоспитанного гостя гораздо более почтительно, чем презирающие герцога и награждающие его разными кличками поданные. Он даже оплатил все расходы, связанные с прохождением нормандской процессии, бесспорно, позаботившись о том, чтобы не возникало никаких неудобств и конфликтов между северянами и его собственным народом. Когда визит был завершен и Роберт отправился дальше в направлении Иерусалима, его уже достаточно слабое здоровье, подорванное плохими условиями жизни, внушало все больше опасений. В конце концов он уже не мог даже короткое время идти пешком, и его несли в паланкине негры.
Крестовые походы способствовали тому, что дороги были заполнены паломниками, солдатами и другими путешественниками. Однажды им повстречался человек из Котантена, старый знакомый Роберта. Герцог сказал с грустной улыбкой, что его несут, как труп на похоронных дрогах. "Мой господин, — спросил крестоносец, который, похоже, был потрясен и опечален, увидев страдания герцога, — мой господин, что мне сказать, когда я доберусь до дома?" — "Что ты видел, как меня несут в рай четыре дьявола", — ответил герцог, как обычно, всегда более склонный к шуткам, чем к серьезному восприятию вещей и выполнению своих обязанностей. У него было намерение путешествовать неизвестным, одетым, как простой паломник, но лишь одна его расточительная щедрость выдавала тайну, которую он действительно хотел сохранить.