После этих все-таки счастливых начинаний Бонифаций и Бальдуин направились в разные стороны для новых завоеваний. «Король двинулся в Фессалию и Элладу, «император» направил свои лучшие силы против Малой Азии. В этой последней области крестоносцам предстояли довольно тяжелые задачи, потому что почти во всех тамошних провинциях греки уже вооружились к сильному сопротивлению. Два принца комненовской крови, Алексей и Давид, внуки страшного императора Андроника, пользуясь смутами последнего времени, основали в далеком Трапезунте самостоятельное государство и подчинили ему почти весь северный берег Малой Азии. Во главе этого нового греческого царства стоял старший из двух принцев, Алексей, с титулом императора и с прозванием «великого Комнена», которое удержалось и за его преемниками. На западе Малой Азии целое множество смелых военных людей сделались независимыми владельцами, как Лев Габатас на Родосе, Мануил Маврозомес на Меандре и Феодор Мангафас в Филадельфии. Но самое важное было то, что тот отважный человек, который еще в последние часы старой Византийской империи должен был сделаться ее императором, Феодор Ласкарис, зять Алексея III, приобрел в Мизии и Вифинии много приверженцев, а в крепкой Прусе занял твердую опору для борьбы с латинянами. Однако, несмотря на то, крестоносные рыцари с многочисленными отрядами войска перешли в ноябре 1204 г. как Босфор, так и Геллеспонт, взяли много местечек, в особенности важное Пеге в Мизии, и, сражаясь столь же счастливо, как и смело, разбили несколько раз гораздо более многочисленные греческие войска.
Но едва только они достигли этого, как с другой стороны они попали в самую ужасную беду. Самый опасный враг, с которым византийцам приходилось бороться в последнее десятилетие, болгарский король Иоанн, двинулся теперь и против франков. Последние тяжко оскорбили его тем, что с глупым высокомерием и насмешками отказались от дружбы и союза, которые он им предлагал. Ему тем легче был отомстить за это, что фракийские греки, оскорбительно притесняемые во многих местах своими новыми господами, с отчаянием искали избавителя и потому не пренебрегли войти в тайный союз с варварским болгарским владетелем для истребления своих угнетателей. В марте 1205 внезапно поднялись граждане Адрианополя и других фракийских городов и в кровопролитном восстании перебили или прогнали франкские гарнизоны. Бальдуин и Дандоло поспешили туда со всеми войсками, какими могли располагать, и осадили Адрианополь. Но там появился и Иоанн с бесчисленными толпами большею частью легкой конницы. 15 апреля войска схватились. Рыцари с безрассудной поспешностью бросились на презираемых врагов, а те, со своей стороны, сражаясь подобно сельджукам, уклонились бегством от натиска панцирных отрядов, пока те не остановились истощенные и не пали почти беззащитными жертвами варваров, которые набросились на них со всех сторон. Триста лучших рыцарей были убиты или взяты в плен, и между последними также император Бальдуин. Остаток франкского войска после этого не мог удержаться внутри Фракии и оставил всю провинцию до южного берега на произвол быстро настигавшим их врагам. Старый Дандоло, глубоко потрясенный такой ужасной переменой счастья, умер в печали и заботе 1 июня 1205.
Тяжелое поражение вскоре зловредно отразилось на азиатском театре войны. Войска, которые до сих пор сражались там победоносно, должны были как можно поспешнее вернуться в Европу. Феодор Ласкарис искусно и счастливо воспользовался представившимся ему здесь случаем расширить свои владения в западной Малой Азии во всех направлениях, и скоро достиг того, что все греки этих местностей признали его императором. Столицей его стала Никея.