Появившийся в 1217 году на Ближнем Востоке венгерский король Андрей II совершил несколько набегов на незначимые мусульманские укрепления, но не добился заметных результатов. Тем не менее, посчитав свой христианский долг выполненным, венгры возвратились домой через толию, прихватив немало священных реликвий – в том числе голову святого Стефана и один из кубков со знаменитого свадебного пира в Кане Галилейской.
Во время своего пребывания в Святой земле австрийские и венгерские паломники вместе с тамплиерами и тевтонам» участвовали в строительстве новой крепости на мысе Атлит, которая в их честь была названа замком Паломника. Построенная на мысе на побережье к югу от Хайфы (берег создавал здесь естественное укрепление) для защиты дороги, окрестных виноградников, садов и полей, на которые сарацины часто совершали свои опустошительные набеги, крепость являла собой мощное фортификационное сооружение, обнесенное рвом с водой и двойными стенами со сторон суши. По свидетельству немецкого монаха-доминиканца Бурхардта с горы Сион, «крепостные валы и башни казались столь прочными и несокрушимыми, что целый мир не мог бы завоевать ее». Крепостной вал окружал три высоких холма и часовню ордена Храма в форме традиционной ротонды. Другой летописец, Оливер из Падерборна, пишет, что «в крепости имелись запасы пропитания для четырех тысяч воинов».
В апреле 1219 года в Акру из Фризии прибыл флот, который обеспечил короля Иоанна Иерусалимского необходимыми средствами для наступления на Египет. После небольшой остановки вооруженная эскадра подняла паруса и 27 мая бросила якорь в устье Нила напротив Дамиетты. Разбив лагерь на левом берегу, 24 августа в результате яростной и кровопролитной атаки крестоносцы захватили оборонительную башню посреди реки, соединенную с городом деревянным мостом и запиравшую вход в реку. А через два дня от лихорадки скончался Великий магистр Гильом Шартрский, возглавлявший корпус тамплиеров, и на его место заступил опытный Пьер де Монтегю, ранее занимавший пост магистра в Провансе и Испании и принимавший участие в знаменитом сражении при Лос-Навас-де-Толосе.
Христиане не смогли развить этот успех, поскольку не имели судов для переправы через Нил: большая часть кораблей, на которых они прибыли в Египет, возвратилась обратно. Через несколько месяцев напряженного противостояния к ним пришло пополнение из Европы во главе с графами Неверским и ла Маршем из Франции, графами Честерским, Арундельским, Дербийским и Винчестерским из Англии, архиепископом Бордоским, епископами Лионским, Парижским и Анжерским, а также итальянский отряд во главе с папским легатом испанским кардиналом Пелагием Санта-Лючийским.
Пелагий как папский представитель сразу взял инициативу в свои руки. Действовал он решительно и энергично, но при этом отличался заносчивостью, грубостью и откровенным деспотизмом. Осада Дамиетты длилась уже почти полгода и сопровождалась массовыми болезнями и смертями крестоносцев. Летом 1219 года, не в силах больше сопротивляться, египетский султан Малик аль-Камиль, брат Саладина, предложил заключить перемирие. В знак своих добрых намерений он разрешил Франциску Ассизскому, прибывшему в Египет поддержать единоверцев, побывать в лагере сарацин и обратиться к ним с проповедью. Их встреча прошла в атмосфере исключительного взаимоуважения, но ни один из них не смог убедить другого сдаться и принять веру противника. Однако, отказавшись принять христианство, аль-Камиль предложил возвратить латинянам Иерусалим и другие святые места в обмен на снятие осады Дамиетты.
Это предложение вызвало острые разногласия в стане крестоносцев: если Пелагий и патриарх Иерусалимский решительно выступали против соглашения с неверными, требуя полной капитуляции, то король Иоанн – при поддержке большинства представителей палестинской и европейской знати – готов был принять эти условия. Великие магистры орденов Храма и святого Иоанна считали, что Иерусалим все равно не удастся удержать, не вернув прежде бывшие франкские укрепления за рекой Иордан. Но это условие для аль-Камиля было абсолютно неприемлемо. В результате его предложение было отвергнуто, и 5 ноября крестоносцы после решительного штурма ворвались в Дамиетту: местный гарнизон и оставшиеся жители были настолько истощены, что уже не могли сопротивляться.