Крестоносцы понимали, что перед ними стоит трудная задача. Стены на суше, протянувшиеся от Золотого Рога до Мраморного моря, были двойными с внешним рвом. На определенном расстоянии друг от друга на стене стояли башни, расположенные таким образом, что те, которые находились сзади, выходили на наружную куртину. Были еще многочисленные ворота и боковые двери, которые давали византийцам возможность совершать вылазки против нападавших. Одни лишь сухопутные стены были в длину около четырех миль, тогда как у нападавших было достаточно людей лишь для нападения на одни ворота и прилегающие к ним части стены. Несмотря на крепкие башни, приморская стена была слабее, имела лишь одинарную толщину и отстояла от берега на некотором расстоянии во многих местах. И дож, и Бонифаций понимали, что атака венецианцев будет более многообещающей. Когда Алексей III узнал, что крестоносцы уже в пути, постарался подготовиться к обороне, снеся все частные постройки, подступавшие к стенам.
Когда венецианцы готовили свои корабли, крестоносцев донимал постоянный обстрел с городских стен (в основном это были стрелы, так как у византийцев не хватало метательных машин). Группы защитников по пять-шесть раз в день выходили из тех или иных ворот и постоянно заставляли крестоносцев обороняться; даже ночью случались подъемы по тревоге. Невозможно было уйти далеко от лагеря в поисках продовольствия, так как одиночек безжалостно убивали. Пищи, особенно свежего мяса, стало не хватать. Тем не менее французы хорошо показали себя; их многочисленные камнеметалки постоянно бомбардировали Влахернский квартал, особенно императорский дворец, и Никита Хониат свидетельствует об ущербе, причиненном метательными снарядами. Но настоящее сражение еще не начиналось.
Совместный штурм был назначен на 17 июля. Французское войско было очень мало: в нем было пятьсот – семьсот рыцарей с таким же количеством конных оруженосцев и несколько тысяч пехотинцев. Из семи дивизий три были оставлены охранять лагерь под командованием Бонифация Монферратского, в то время как Балдуин Фландрский возглавил остальных. Алексей III сумел привести на поле битвы по крайней мере девять дивизий, и каждая из них, по непроверенным данным, в шесть или семь раз превосходила по численности дивизию франков. Когда две армии выстроились друг напротив друга, и войско крестоносцев пошло в наступление, Балдуин Фландрский был предупрежден, что он находится слишком далеко от лагеря и ему лучше ожидать нападения византийцев за его частоколом. Приняв это предложение, он повернул свой авангард назад. Но на кону стояла гордость французских баронов, и военачальники следующей дивизии Хью Сент-Поль и Петр Амьенский отказались последовать его примеру; вместо этого они пришпорили своих коней и направили их на врага, а Балдуин со стыдом последовал за ними. Византийцы собрали свои силы за укрытием, которое Робер де Клари описывает как канал для доставки воды в Константинополь; возможно, это был Ликос. Французы натянули поводья перед этим препятствием и спохватились, что находятся далеко от своего лагеря; они ожидали больших потерь при преодолении водной преграды. Пока они стояли не небольшом возвышении и обсуждали, что им делать, имперские войска отступили в город. Так, без борьбы крестоносцы добились большего успеха.
Тем временем венецианцы атаковали приморскую стену вдоль Золотого Рога, прилегающую к Влахернам, которую защищали пизанцы, английские и датские варяги. На другом берегу гавани венецианский флот выстроился в линию протяженностью в три броска камнеметалки, как пишет Виллардуэн. Несмотря на свою частичную слепоту, Дандоло стоял на носу своего судна со знаменем святого Марка; после обмена стрелами его ободряющие крики так воодушевили команду, что они были первыми, кто добрался до берега. К нему присоединились и другие корабли, и солдаты стали высаживаться с них на берег, пока те, которые находились на штурмовых трапах, сражались с врагами в башнях. После яростного сражения все увидели, что знамя святого с изображенным на нем крылатым львом развевается наверху башни, а византийцы отступают. Была захвачена большая часть стены с двадцатью пятью или тридцатью башнями, и для венецианцев открылись ворота внизу; они рассеялись по городу и разграбили все, что только смогли. Гонцы, посланные к французам, привели с собой коней, захваченных в Константинополе, в качестве подарка от дожа и символа его победы. Возможно, весть об этой катастрофе заставила Алексея III отвести свои войска к столице.