В 1217–1218 годах тамплиеры срыли замок Ле-Деструа, построенный в конце XII века, а на его месте возвели боле внушительное фортификационное укрепление — замок Атлит (строить это большое и мощное укрепление тамплиерам помогали многочисленные добровольные помощники — паломники из стран Западной Европы). Возведением нового замка в 1218 году руководил магистр ордена Храма Гийом Шартрский. В то время турки только что укрепили гору Фавор, которая образовывала опасный клин и угрожала одновременно и равнине Акры, и дороге вдоль побережья. Франки попытались захватить гору в 1217 году, что и развязало очередную египетскую (дамьеттскую) кампанию. Магистр ордена тамплиеров Гийом Шартрский, который лежал больной в Акре, не участвовал в экспедиции, но короли Иерусалимский и Венгерский, герцог Австрийский, магистр ордена госпитальеров и монастыри обоих орденов пошли на приступ. Когда первая атака провалилась, магистр ордена госпитальеров предложил вновь попытаться, но вялость, если не сказать трусость, крестоносцев-мирян заставила их отступить. Король Иоанн предпринял строительство замка на юге от Цезареи, в новой марке (провинции) государства. Магистр ордена Храма и его совет решились со своей стороны укрепить мыс Атлит, чтобы преградить дорогу к Хайфе. У тамплиеров уже была башня недалеко от мыса, которая называлась «замком узких проходов»; берег создавал здесь естественный рейд, поддающийся укреплению, куда во время продвижения к Яффе причаливал флот короля Англии Ричарда Львиное Сердце.
Из-за толпы паломников, поставлявших добровольную рабочую силу, новую крепость назвали замок Паломника (правда, поначалу тамплиеры назвали замок замком Сына Божья). В «Истории» Ираклия говорится: «Готье д’Авен дал ему сие имя и сказал, что будет его крестным отцом, и под первый камень положил тысячу сарацинских золотых монет». Оливье Схоластик так описывает тамплиерский замок Паломника: «Широкий и высокий мыс, с естественными укреплениями на севере, западе и юге, поднимается над морем. На востоке стоит башня, сооруженная в давние времена тамплиерами, которые удержали ее столько же миром, сколько и войной. Некогда эта башня была возведена, чтобы защищать паломников на иерусалимской дороге или на обратном пути от воров, которые подстерегали их на этом узком пути. Стоит же она совсем рядом с морем, на выступе горы, который и называли Узким проходом. В течение всего времени, ушедшего на сооружение цезарейского замка, тамплиеры выдалбливали себе путь в скале. По истечении шести недель они приступили к первым закладкам фундамента. Показалась древняя стена, длинная и широкая. Они также нашли клад из древних монет, незнакомых нынешним людям, ниспосланный благостью Сына Божиего, чтобы вознаградить их за их расходы и труды. Затем они выкопали и убрали прочь песок, за которым обнаружили другую стену, и меж этих двух стен источник питьевой воды, которая в изобилии била ключом. Бог щедро снабжал их камнем и цементом. Тамплиеры соорудили две башни перед фронтоном из четырехугольных отполированных камней, столь больших, что упряжка из двух быков едва могла тащить один из них. Каждая башня имеет сто шагов в длину на семьдесят четыре в ширину; это пространство состоит из двойной крепостной стены. Новая и высокая стена, заканчивающаяся зубцами, связывает обе башни и благодаря замечательному мастерству [строителей] рыцари во всеоружии могут подниматься и спускаться по лестницам, устроенным внутри. Другая стена простирается от одного берега до другого и охраняет колодец с пресной водой у конца полуострова. Замок окружен со всех сторон высокой новой стеной с башнями, которая поднимается от самой отмели; внутри ее часовня с палатами и множество хозяйственных зданий. Главная задача этого сооружения — позволить монастырю ордена Храма при отступлении из города Акры, нечестивого и грешного, держаться здесь до тех пор, покуда будут готовиться к обороне стены Иерусалима.
Владение обладает рыбными промыслами, солончаками, лесами, выпасами, пахотными землями и обильными пастбищами. Виноградники, существовавшие ранее или посаженные, и фруктовые сады являются отрадой жителей. У сарацин нет ни одной крепости между Акрой и Иерусалимом. Этот новый замок тамплиеров наносит им чрезвычайный ущерб, и, объятые страхом, они готовятся покинуть свои обработанные земли между Иерусалимом и Иорданом. Там также есть порт, который хорош от природы и который мастерство [строителей] могло бы улучшить. Это укрепленное место лишь на шесть миль отдалено от горы Фавор, и полагают, что его сооружение предопределило уничтожение крепости на горе; ибо по всей протяженной и широкой равнине, которая простирается от Атлита до горы Фавор, сарацины из-за мощи нового замка не могут ни пахать землю, ни сеять, ни пожинать в безопасности».