В первую очередь крестоносцы по необходимости возводили оборонные сооружения. Церквям и дворцам пришлось подождать до тех пор, пока они прочно не овладеют страной. Нужно было отремонтировать городские стены, построить крепости для охраны границ и административных центров различных областей государства. Фортификации главных городов в основном требовали только мелкой починки, за исключением нескольких случаев, где крестоносцам удалось ворваться в город только через брешь в стенах. В Антиохии грандиозная система оборонительных сооружений, возведенная византийцами в конце X века, осталась почти невредимой. Латинским баронам и государям не было нужды делать к ним пристройки. Также почти не потребовали ремонта и построенные Фатимидами стены Иерусалима, хотя, во всей видимости, крестоносцы почти сразу же стали вносить изменения и улучшения в Башню Давида. Но скоро они начали строить замки в городах, где укреплений и было достаточно. Все эти замки воздвигались на краю городов и могли обороняться самостоятельно. Их сеньоры хотели иметь возможность не только продолжать сопротивление, даже если город пал перед врагом, но и устрашать горожан на тот случай, если они отобьются от рук. Первый замок, который можно уверенно датировать, выстроен графом Раймундом на горе Паломников в 1104 году. Там располагалась его штаб-квартира во время осады Триполи. Этот замок находился за пределами города, хотя позднее мусульманский Триполи был возведен у его основания. Но, кроме части западной стены, мало что осталось от трудов Раймунда. Замки князей Галилеи в Тивериаде и Тороне, вероятно, построены примерно в то же время. Однако великая эпоха строительства замков началась во втором десятилетии XII века при Балдуине II и продолжилась при Фульке, когда свет увидели такие великолепные крепости, как Керак в Моаве, Бофор и севернее Сахьюн, а также менее внушительные форты в Иудее, такие как Бланшгард и Ибелин.
Крестоносцы обнаружили, что на Востоке военная архитектура гораздо более развита, чем на Западе, где только начали появляться каменные замки. Римляне изучали военную оборону как науку. Византийцы под стимулом бесконечных иноземных вторжений, которым они были вынуждены противостоять, разработали его под собственные потребности, а арабы научились у них. Но перед византийцами стояли не те же проблемы, что перед крестоносцами. Византийцы исходили из постоянного наличия достаточного количества людей и могли позволить себе большие гарнизоны. Они любой ценой старались хорошо защитить свои города. Стены Константинополя и через тысячу лет после строительства не поддавались куда более современным пушкам османов, а стены Антиохии привели крестоносцев в восхищение. Но византийский замок представлял собой немногим более чем укрепленный лагерь. Он проектировался ввиду того, что враг, с которыми византийцами приходилось иметь дело, был хуже вооружен, поскольку арабы, их самые грозные соперники, не так поднаторели в осадной технике. Поэтому не было нужды в особо прочных стенах, так как система внешних укреплений, главной чертой которых был как минимум один довольно широкий ров, не давал врагу возможности подвести тараны и приставные лестницы непосредственно к стенам. Башни строились вдоль стен, немного выступая за них через регулярные промежутки, не столько с целью защиты самих стен, сколько для того, чтобы лучники и защитники, поливавшие врага горячей смолой и маслом, имели больше свободы для действий.
Предназначение центральной башни заключалось не в том, чтобы служить последним рубежом обороны, а, скорее, арсеналом и продовольственным складом. Не считая нескольких крепостей на границе с Арменией, где жили полунезависимые бароны, византийские замки служили своим владельцам резиденцией. Ими командовали профессиональные военные, который оставляли своих жен и детей дома. И наконец, хотя при строительстве и учитывались особенности природного ландшафта с точки зрения обороны, неприступность его стояла отнюдь не на первом месте. В основном замок использовался в качестве своего рода казармы. Солдатам было бы неудобно всякий раз карабкаться вверх-вниз по горам.
Арабы обычно перенимали византийские образцы, хотя в силу того, что их армии были гораздо более мобильными, а тактика — более наступательной, вопросы обороны интересовали их меньше.