Франки очень скоро почувствовали, что в королевском городе теперь неограниченно господствовала сильная воля. Им предписано было в восемь дней очистить греческую землю; о дальнейшей уплате нечего было и думать, император, не нуждается ни в их совете, ни в их приказах у него довольно своей силы. Если бы пилигримы даже хотели, то едва ли могли исполнить это требование: они должны были опасаться, что когда они будут готовиться к отступлению, то раздраженные греки именно тогда поставят их в бедственное положение. Таким образом, у них не было другого выбора, как или взять приступом Константинополь и подчинить его своему господству, или погибнуть в славном бою. Алексей V сделал все усилия, чтобы приготовить им это последнее. Он неутомимо работал над возобновлением и отстройкой городских укреплений, посылал брандеры против венецианского флота и старался уничтожить отдельные части рыцарского войска вылазками. Но здесь его постигло решительное несчастие. После того, как отряд франкских всадников в 1.000 человек двинулся однажды на северо-запад до Филеи на Черное море и совершенно разграбил это богатое место, император решил напасть на этот отряд на его возвратном пути к Босфору, с превосходными силами, и истребить его. Ему удалось так основательно перехитрить врагов, что они лишь тогда заметили греков, когда те уже напали сзади на их ряды. Однако франки непоколебимо выдержали нападение и оборонялись такими ужасными ударами и толчками, что очень скоро гораздо более многочисленное греческое войско в ужасе рассеялось в беспорядочном бегстве. Алексей, хотя сам раненый, остался на поле сражения до тех пор, пока не был против воли увлечен своими бежавшими сотоварищами. Лучшие его воины пали в горячем бою, знаки царского достоинства, императорское знамя и чудотворный образ Девы Марии, который считался написанным евангелистом Лукой и на него смотрели как на палладиум империи, все это было отнято победителями и выставлено на посмеяние. С этого дня события опять повернулись благоприятно для франков. Алексей уже не осмеливался больше выступать против непобедимого неприятеля в открытом поле, и потому спрашивалось только, удастся ли последним второй раз завоевать Константинополь.
Но теперь пилигримы уже так твердо рассчитывали на счастливый исход своего предприятия, что поделили добычу еще раньше, чем она попала к ним в руки. В начале марта 1204 г. венецианский дож и «сиятельнейшие князья» крестоносного рыцарства, во главе их Бонифаций Монферратский и Бальдуин Фландрский, заключили между собой договор, по которому они вперед хотели решить будущую судьбу Византийской империи. По этому договору обе главные группы, из которых состояло франкское войско, т. е. венецианцы и крестоносцы», должны были назначить шесть выборных людей, который потом, после победы над греками, избрали бы в императоры лучшего и способнейшего из своих боевых товарищей. Этому латинскому императору должна была подчиниться вся Византийская область, но в его непосредственное распоряжение была предоставлена только четвертая часть ее; остальные три части должны были быть разделены на две равные части между венецианцами и крестоносцами за определенную ленную службу, которую они должны нести императору. Венецианцам в новой Латинской империи были бы без всякого ущерба сохранены все права, обычаи и имущества, которыми они пользовались прежде в Византийской империи, а та из двух главных групп франков, из которой не будет избран император, должна получить Софийский собор и избрать будущего римско-католического константинопольского патриарха.