Осада началась 7 июня, в тот же самый день, как только крестоносцы прибыли под иерусалимские стены. Но вскоре стало ясно, что время играет на руку осажденным. У Ифтикара были хорошие запасы воды и провианта. Он был лучше вооружен, чем франки, а также не забыл укрепить башни мешками с хлопком и сеном, которые позволяли им выдерживать бомбардировку франкских патерелл. Если бы он продержался до тех пор, пока не подойдет армия из Египта, с Крестовым походом было бы покончено. Но, как бы ни был велик иерусалимский гарнизон, его еле-еле хватало для того, чтобы поставить людей на все стены. Крестоносцы со своей стороны вскоре стали испытывать трудности с водой. Меры, принятые Ифтикаром, оказались весьма эффективны. Единственные доступные для осаждающих источники чистой воды находились близ Силоама под южными стенами и хорошо простреливались из города. Чтобы пополнить запасы воды, франкам приходилось проделывать путь примерно в 6 миль (около 10 км), а то и больше. Зная это, гарнизон высылал небольшие отряды, которые устраивали засады на тропинках к источникам. Множество крестоносцев и паломников погибло в этих внезапных нападениях. Продовольствие тоже начало подходить к концу, поскольку рядом с городом раздобыть было нечего. Жара, пыль и отсутствие тени добавляли франкам неудобств, ибо они явились из стран с более прохладным климатом и многие носили доспехи, не подходящие для иудейского лета. Им было ясно, что они не могут позволить себе долгой осады, а должны быстро взять город приступом.
12 июня главы крестоносцев отправились в паломничество на Масличную гору. Там к ним обратился престарелый отшельник, призывая их атаковать стены на следующее же утро. Они возразили, что у них нет орудий для успешного штурма, но отшельник не желал ничего слушать. Если у них есть вера, сказал он, то Бог дарует им победу. Воодушевленные его словами, они объявили по войскам, что завтра утром состоится общее наступление. Но либо отшельник ошибся, либо их вера была слабовата. Крестоносцы пошли в атаку с огромным пылом и вскоре овладели внешними укреплениями северной стены. Но у них было слишком мало лестниц, чтобы взобраться на стены одновременно на разных участках. После нескольких часов отчаянной схватки они поняли, что все их попытки бессмысленны, и отступили.
Провал штурма вызвал горькое разочарование, но стало ясно, что нужно больше осадных орудий. 15 июня на совете было решено не предпринимать наступательных действий до тех пор, пока они не соорудят больше лестниц и патерелл. Но материала для их строительства не хватало. Как и в Антиохии, дело спасла своевременно подошедшая с моря помощь. 17 июня шесть христианских судов вошли в гавань Яффы, которую, как оказалось, покинули мусульмане. Эскадра состояла из двух генуэзских галер братьев Эмбриако и еще четырех кораблей, вероятно, английской флотилии. Они привезли еду и снаряжение, в том числе веревки, гвозди и болты, необходимые для изготовления осадных машин. Услышав об их прибытии, крестоносцы сразу же послали небольшой отряд установить с ними связь. У Рамлы их войска попали в засаду мусульман, действовавших из Аскалона, и спас их только приход Раймунда Пиле с его людьми, которые шли за ними по пятам. Тем временем у берега появился египетский флот и заблокировал гавань Яффы. Один из английских кораблей проскользнул сквозь блокаду и уплыл назад в Латакию. Другие корабли были покинуты экипажами сразу же после выгрузки запасов на берег, и моряки вместе с Раймундом Пиле отправились в лагерь под Иерусалимом. Там с радостью встретили и их самих, и привезенные ими материалы. Но еще оставалось найти дерево для строительства орудий. На голых холмах вокруг города росло мало деревьев, и крестоносцам пришлось рассылать отряды на многие мили для сбора всего необходимого. Только когда Танкред и Роберт Фландрский вместе со своими войсками добрались до самых лесов близ Самарии и вернулись, нагруженные бревнами и досками, которые тащили верблюды и пленные мусульмане, можно было приступить к работе над орудиями для осады. Франки сколотили лестницы, а Раймунд и Готфрид начали сооружать деревянную башню с катапультами на колесах. Гастон Беарнский отвечал за строительство башни Готфрида, а Гийом Рику — башни Раймунда.