Не прошло и года владычества крестоносцев в Византии, как во Фракии и южной Македонии весной 1205 г. вспыхнуло восстание. Здешние землевладельцы, несмотря на хранимые мрачные воспоминания в отношении болгарского царя Калояна, даже решились предложить императорский венец своему бывшему могущественному врагу, если тот изгонит латинов из Константинополя. Царь тоже стремился избавиться от крестоносцев и с его помощью греки начали изгонять, более того, беспощадно истреблять завоевателей, их гарнизоны во фракийских городах.
После Пасхи, 14 апреля 1205 г. у захваченного венецианцами, хорошо укрепленного Адрианополя, расположенного на невысоких холмах, у точки пересечения дорог, произошла достопамятная жестокая схватка объединенных сил болгар и греков с латинами. Возглавивший войско самонадеянный Балдуин I в ходе битвы попал в плен к болгарам, где со временем и скончался. Множество знаменитых, отборных, «знамённых» рыцарей сложили головы в этой кровопролитной схватке. Отважно сражавшийся, старый дож Энрико Дандоло привел остатки войск назад в Константинополь и вскоре тоже умер. Его похоронили в стене храма Св. Софии, где до сих пор на верхней галерее можно видеть беломраморную надгробную плиту этого человека, приложившего все силы для гибели Византии (костей под ней нет — через 56 лет их сразу же выбросили на свалку после отвоевания Города у латинов). Правитель Фессалоники, бывший предводитель крестоносной армии, амбициозный Бонифаций Монферратский погиб в битве с болгарами в 1207 г. И хотя неистовый Калоян, губитель и спаситель ромеев, тоже пал в этом году при осаде Фессалиники, новорожденной Латинской империи был нанесен ряд смертельных ударов, от которых она сразу резко ослабла и не смогла оправиться до конца своего существования.
К 1225 г. территория Латинской Романии, где один бесталанный император сменялся другим, еще более непутевым, по сути была сведена к Константинополю и совсем небольшой области Малой Азии на восточном берегу Мраморного моря. Латинам приходилось бороться не только с ненавидевшим их покоренным населением, чей язык и менталитет им был чужд, но и с греческими правителями горного Эпира, блистательной Никеи, с могущественным Вторым Болгарским царством, рвавшимся через Балканы — от Адриатики к Черному морю. Эта борьба порой выливалась в чудеса героизма со стороны греков, как это было с знаменитым местным разбойником-хосарием Львом Жгуром, который четыре года сражался с врагами до тех пор пока, отчаянно отбиваясь от них, прыгнул вместе с лошадью с вершины акрополя Коринфа и разбился насмерть.