После поражения 1102 г. визирь аль-Афдал был вынужден сделать передышку, чтобы набрать новую армию. Бодуэн воспользовался этим, чтобы укрепиться на морском берегу. На дорогах между Яффой и Хайфой и Яффой и Иерусалимом орудовали сарацинские и бедуинские разбойничьи банды, на море на христианские корабли нападали арабские морские разбойники из Тира, Акры и Аскалона. Русский паломник игумен Даниил, посетивший Палестину в первые годы XII в., пишет: «Поганые сарацины [арабы] были опасны, так как, скрываясь в горах и пещерах, нападали иногда с целью грабежа на проезжавших по дорогам паломников». Осенью 1102 г. корабли отправлявшихся домой паломников, которые помогли Бодуэну весной разбить египтян, были выброшены штормом на берег у Тира, Сидона и Аскалона. Все пассажиры были убиты или проданы в рабство. Король попытался весной 1103 г. осадить Акру, но осаду пришлось снять, когда на помощь городу пришли египетские корабли из Тира и Сидона, доставившие продовольствие и подкрепления.
Затем король предпринял попытку очистить от разбойников гору Кармель. Полностью это тоже ему не удалось, а в одной из стычек он получил тяжелое ранение, надолго приковавшее его к постели.
Летом 1103 г. визирь аль-Афдал опять послал армию и флот в Палестину, но из-за спора командующего армией с адмиралом-начальником флота эта экспедиция оказалась безрезультатной. Египетский флот подошел к Яффе, в то время как египетская армия отказалась выходить из Аскалона. Когда выздоровевший Бодуэн привел армию к Яффе, египетский флот ушел домой.
В начале мая 1104 г. в Яффу, чтобы завершить паломничество в Иерусалиме, прибыл большой генуэзский флот, помогавший Раймунду Тулузскому летом прошлого года при завоевании Жибле. Бодуэн немедленно заключил с ним договор о помощи при завоевании Акры. Цена помощи была обычной: треть добычи, торговые привилегии, торговая улица с церковью и право суда. Осада началась 6 мая. Гарнизон, которым командовал фатимидский мамлюк Бена Зар ад-Даула аль-Джуюши, ожесточенно сопротивлялся, но после 20-дневной осады, не получив никакой помощи из Египта, был вынужден сдаться. Условия сдачи были такими же, как при сдаче Арсуфа: все горожане, кто хотел, могли покинуть город со своим движимым имуществом, остальные становились подданными короля, им даже была оставлена мечеть. Бодуэн придерживался условий договора, однако генуэзцы ограбили уходящих и многих убили. Бодуэн даже хотел напасть на итальянцев, с трудом патриарх Эвремар примирил его с ними.
Акра имела большую и защищенную при любой погоде гавань, оставлявшую далеко позади Хайфу с ее открытым рейдом. Хотя Акра находилась более чем в 160 км от Иерусалима, ей суждено было стать главным морским портом государства.
Захват Акры и стремление короля овладеть побережьем, через которое проходили торговые связи Дамаска с Западом, заставили его правителя вступить в союз с Египтом против франков. Такому союзу способствовали и перемены в правительстве Дамаска. В 1104 г. умер Дукак Дамасский, и городом стал фактически править его атабек Тогтекин. Сначала он посадил на трон годовалого сына Дукака Тутуша, но вскоре заменил его 12-летним братом Дукака Ирташем. С севера на Дамаск двинулся было Ридван, попытавшись завладеть наследством брата, но вскоре возвратился в Алеппо, поняв, что дамаскинцы не хотят его, а сил для завоевания города у него недостаточно. Ирташ, заподозривший угрозу со стороны Тогтекина, бежал в Хауран (область за Иорданом севернее реки Ярмук), где эмир Босры Айтекин предоставил ему убежище. Когда король Бодуэн пообещал Ирташу помощь, он перебрался в Иерусалим. В начале августа 1105 г. огромная египетская армия из арабской конницы и суданской пехоты под командой Сены аль-Мулька собралась в Аскалоне, и на соединение с ней, обогнув с юга Мертвое море, прибыли войска из Дамаска в количестве 1300 конных турецких лучников под командой военачальника Тогтекина Сабауа. Одновременно флот египтян подошел к Яффе.
Бодуэн ждал врага у Рамлы с главной армией из 500 конных и 2000 пехоты. К нему присоединились гарнизоны из Галилеи, Хайфы, Сент-Авраама. Из Иерусалима прибыл с полутора сотнями воинов и Святым Крестом патриарх Эвримар. При Бодуэне находился и юный претендент на Дамаск Ирташ. В Яффе Бодуэн оставил 300 человек под командой Литара де Камбре.