Итак, крестоносцы, по существу, выполнили свою задачу. Законный император водворился на престоле, он во всем был покорен своим благодетелям. Вскоре паломники получают от Алексея IV примерно половину оговоренной суммы — около ста тысяч марок. Этого вполне достаточно, чтобы наконец полностью расплатиться с Венецией. И пилигримы вспоминают о настоящей цели похода, ради которой они и принимали крест — освобождении Иерусалима. Вновь становится слышен голос простых паломников, рвущихся в Святую Землю. Но небывалый, невероятный успех уже вскружил головы вождям, и они уговаривают нетерпеливых подождать, пока Алексей IV полностью расплатится по счетам. Жажда наживы оказалась сильнее богоугодных устремлений, и после недолгих споров крестоносцы откладывают поход в Палестину до следующей весны. Возможно, на это решение повлияла и просьба Алексея о военной помощи, поскольку он, громко именуясь «базилевсом ромеев», реальной властью обладал только в самом Константинополе. Он и в столице чувствует себя нетвердо, так как население крайне недовольно огромными платежами крестоносцам, ради чего Алексею даже пришлось конфисковать и расплавить драгоценную церковную утварь. Императорская казна пуста, попытка займа у константинопольских богачей безуспешна: они вовсе не горят желанием поддержать ставленника ненавистных латинян. Сами крестоносцы понимают, что в этой ситуации новому базилевсу трудно выполнить условия договора, и решают помочь ему в укреплении власти в империи. Вскоре около половины франкского войска уходит вместе с Алексеем во Фракию; после ряда успешных осад и сражений они возвращаются в ноябре 1203 года с чувством хорошо выполненного долга.
Однако Алексей после возвращения в столицу победителем становится все менее сговорчивым. Под разными предлогами он оттягивает дальнейшие платежи. Взбешенные этим, крестоносные вожди отправляют к обоим императорам послов с требованием немедленно расплатиться. Однако Алексей отказывается от дальнейших взносов, так как положение в городе накалено до предела, и новые поборы неминуемо приведут к восстанию. Бедные Ангелы оказались меж двух огней. Алексей пытается объяснить ситуацию венецианскому дожу — тот явно умнее своих французских коллег — но и Энри-ко Дандоло непреклонен: или деньги, или война. Так с конца ноября крестоносная авантюра переходит в следующую фазу — борьбы против законного императора. Сами крестоносцы чувствуют юридическую уязвимость своей позиции, поэтому боевые действия ведутся весьма вяло. Недовольство действиями «паломников Христовых» выражает и Иннокентий III, который весьма раздосадован непрерывным откладыванием похода в Святую Землю. Да и сам Алексей стремится к примирению с крестоносцами. Иногда, впрочем, он показывает зубы, как 1 января 1204 года, когда византийцы сделали попытку сжечь с помощью брандеров* весь венецианский флот. Благодаря мастерству итальянских моряков, попытка эта не удалась, и «странная война» продолжалась.
Все изменилось 25 января 1204 года, когда в Константинополе вспыхнуло яростное восстание. Во главе его стояли, главным образом, монахи, для которых была ненавистна заявленная Алексеем идея о подчинении восточной церкви римскому папе. В течение трех дней весь город, за исключением императорских дворцов, находился в руках повстанцев. В этих условиях византийская верхушка, опасаясь уже за собственную жизнь, решилась на государственный переворот — с целью успокоить население. В ночь на 28 января императорский советник Алексей Дука, по прозвищу Мурзуфл**, арестовывает Алексея IV и бросает его в тюрьму. На следующий день Мурзуфла коронуют как базилевса ромеев. Старый Исаак, получив известие об аресте сына и коронации узурпатора, не выдерживает потрясения и умирает. Через несколько дней по приказу Мурзуфла убивают и Алексея IV. Восстание плебса гаснет само собой, а Мурзуфл под именем Алексея V становится единоличным правителем империи.
Коронация Алексея V значительно ухудшила положение крестоносцев. Мурзуфл еще при Ангелах был известен как один из наиболее ярых противников латинян. Едва придя к власти, он подтвердил это, в ультимативной форме потребовав от «Христовых воинов» в иосьмидневный срок очистить византийскую территорию. Крестоносцы, естественно, отказались — тем более, что зимой это так или иначе было невозможно. Однако в лагере паломников воцарилось уныние. Ситуация виделась довольно беспросветной. Оба их византийских ставленника погибли, тем самым была потеряна и возможность внести раскол в византийские ряды. Положение усугублялось наступившим голодом: ведь всякие поставки продовольствия полностью прекратились. Армия, находившаяся на грани голодной смерти, питалась почти исключительно кониной, и ежедневно десятки, а то и сотни людей умирали от голода и лишений. К тому же греки почти ежедневно устраивали вылазки и нападения, которые, хотя и не давали какого-либо серьезного результата, держали крестоносное воинство в постоянном напряжении.