В ту же ночь греческие военачальники, оставшиеся без императора, приняли хитрое решение. Они освободили из тюрьмы прежнего ослепленного императора Исаака II и снова посадили его на трон. Крестоносцы потребовали, чтобы в качестве соимператора на трон был возведен также и принц Алексей и чтобы оба императора признали договор, заключенный в Заре. Исаак согласился. 1 августа Алексей IV был коронован в соправители отца в соборе Святой Софии в присутствии видных баронов-крестоносцев.
Алексей уговорил крестоносцев возвратиться в Галату, да и сами они опасались оставаться в огромном враждебном городе. Вскоре стало очевидно, что Алексей не может выполнить данные обязательства: духовенство упорно отказывалось ввести латинский обряд, и в императорской казне не было денег. Императоры ввели новые налоги и конфисковали и переплавили в серебро церковную утварь, чтобы расплатиться с крестоносцами. Однако им удалось собрать только половину обещанной суммы (100 тысяч марок). «Уезжая в сопровождении немногих в палатки варваров, Алексей пьянствовал вместе с латинцами и целыми днями играл с ними в кости», — рассказывает хронист Никита Хониат. Слепой Исаак дни и ночи проводил в беседах с астрологами.
Отношения между крестоносцами и греками все более обострялись. Греки с ненавистью смотрели как на надменных франкских рыцарей, посещавших город, так и на издавна поселившихся в нем итальянских колонистов. Дело дошло до кровавых столкновений. Несколько французских рыцарей под воздействием религиозного рвения подожгли мечеть, от чего выгорело несколько городских кварталов. Не чувствуя себя больше в городе в безопасности от ненависти греков, 15 тысяч итальянцев, в том числе и пизанцы, перешли в лагерь крестоносцев с женами и детьми. Отношения испортились вконец, и Дандоло пообещал втоптать Алексея в грязь, из которой его извлекли. Начались вылазки греков из города и стычки с франками. В начале января греки предприняли попытку с помощью флотилии брандеров сжечь венецианский флот, чего с большим трудом удалось избежать. Вперед выдвинулся в качестве военного руководителя другой зять императора Алексея III, Алексей Дука Мурзуфл (Хмурый), человек умный и энергичный. Жалкое правление обоих императоров вызывало во всех слоях населения ненависть и презрение. В конце января в Константинополе начались народные волнения, три дня в городе бесчинствовала анархия. Армия перешла на сторону Мурзуфла. Восставшие ворвались во дворец, императоры были свергнуты и брошены в темницу. Через несколько дней Алексей был задушен, а Исаак умер сам от горя и жестокого обращения. Мурзуфл занял престол под именем Алексея V.
Теперь франки уже не могли рассчитывать на выполнение договора. Венецианцы давно уже советовали рыцарям взять город штурмом и посадить там своего императора. Теперь предложение было принято. На роль императора подходили Дандоло, маркиз Бонифаций Монферратский и граф Бодуэн Фландрский. В марте дож и «сиятельнейшие князья» во главе с Бонифацием и Бодуэном подписали договор partitio imperii (о разделе империи), по которому должна была решиться дальнейшая судьба Византийской империи. Договор начинался словами: «Прежде всего мы, именем Христа, должны вооруженной рукой завоевать город». После того как город будет взят, комитет из шести венецианцев и шести франков должен избрать императора «во славу Бога, святой Римской церкви и империи». Если императором будет избран франк, что казалось более предпочтительным, то патриархом должен стать венецианец, который получит Софийский собор. Императору должна подчиняться вся Византийская империя, но принадлежать ему должна только четверть столицы и империи и два столичных дворца. Остальные три четверти должны быть поделены пополам между рыцарями и венецианцами. Все, получившие наделы, должны принести императору ленную присягу, от которой будет освобожден только дож Дандоло. Никто уже не хотел продолжения крестового похода.