В то же время осложнились отношения Византии с германскими императорами и зарождавшимся норманнским Сицилийским королевством. Отчасти причиной тому послужили крестовые походы. Крестоносцы не только создали ряд эфемерных государств вокруг Иерусалимского королевства, они стали проводниками интересов западных держав, тем самым неизбежно вторгаясь в сферу традиционных интересов Византийской империи. Иоанн И и Мануил I делали все от них зависящее, чтобы укрепить дружеские отношения с германскими императорами и не дать им выступить в союзе с занявшими Сицилию агрессивными норманнами, противодействуя им и папскому влиянию на Италию и весь регион Адриатического моря. Император Мануил I, проводивший искусную внешнюю политику, позволившую Византии стать ведущей державой региона, успешно использовал также тактику брачных альянсов; однако после его кончины созданная им система быстро распалась. И вскоре позиции империи, не располагавшей достаточными ресурсами, пошатнулись.
К сожалению, у Мануила не нашлось наследников, способных продолжать его дело. Его десятилетний сын Алексей II находился под влиянием матери Марии (дочери франкского короля). Это вызывало враждебность придворных, традиционно не принимавших «латинян», то есть представителей Запада. Эта вражда достигла кульминации в 1182 г., когда Андроник Комнин захватил трон и убил юного Алексея. Положение империи постепенно ухудшалось. Еще в 1171 г. распался ее союз с Венецией, когда Мануил попытался использовать как противовес этому государству Геную и Пизу, а в 1182 г. Андроник устроил резню генуэзских и пизанских купцов и других итальянцев, что настроило эти города-государства против империи. В 1185 г. норманны, воспользовавшись нестроениями в империи, захватили и разграбили Салоники, второй по величине город Византии. Узурпация Андроника дала начало двадцатилетней смуте, сопровождавшейся частыми переворотами. В том же году сам Андроник был свергнут и убит. Вместо него стал править родич Комнинов, Исаак II Ангел (1185–1195), преемником которого стал его брат Алексей II Ангел (1195–1203), в свой черед устраненный Алексеем III. Но в 1203 г. во время Четвертого крестового похода, когда армия крестоносцев подошла к Константинополю, Алексей III потерял трон, и его сменил Алексей IV.
Осложнилось и положение на Балканах. В ходе восстания 1186 г. имперские гарнизоны были разбиты, и Болгария восстановила свою государственную независимость. В 1190 г. Исаак II при попытке подавить восстание болгар потерпел тяжелое поражение. В то же время Сербия, являвшаяся вассалом империи, начала отдаляться от нее, отчасти благодаря войнам Византии с Венгрией. В дальнейшем ситуацию в Болгарии удалось стабилизировать благодаря военным успехам и брачному альянсу, но стало очевидно, что могущество империи подорвано на всех направлениях. К 1196 г. Сербия стала искать политическую поддержку уже не в Византии, а в Риме, и положение в Болгарии сделалось безнадежным. Во время Третьего крестового похода (1189) Кипр был захвачен сначала английским королем Ричардом I, затем — рыцарями Храма (тамплиерами) и, наконец, в 1192 г. — графами Лузиньян.
Смертельный удар Византийской империи в ее ромейской форме, выстоявшей во многих испытаниях, нанес Запад во время Четвертого крестового похода. Первоначально намеревавшиеся вторгнуться в Египет крестоносцы обнаружили, что сильно задолжали Венеции, которая предоставила им корабли и отчасти финансировала все предприятие. Венецианцы пытались использовать неурядицы в Константинополе, чтобы сохранить и упрочить свои торговые привилегии и торговлю в Восточном Средиземноморье. Присутствие в Венеции Алексея IV, претендента на имперский престол, облегчало задачу венецианцев.
В 1203 г. крестоносцы подошли к стенам Константинополя. Им удалось добиться того, чтобы престол перешел к соправителям Алексею IV Ангелу и его слепому дяде Исааку II (которого ранее низложил и заточил Алексей III, бежавший теперь из столицы). Оказавшись на троне, Алексей IV обнаружил, что не в состоянии выплатить обещанные награды, а поскольку ситуация еще более ухудшилась, оказался в своей стране в изоляции. В начале 1204 г. произошел новый переворот. Алексей IV был свергнут и убит Алексеем Дукой (Алексеем V), но это лишь осложнило ситуацию. 12 апреля Константинополь пал. Крестоносцами было захвачено невероятное количество добычи: один из участников похода утверждал, что такого количества добра в одном городе не было взято от сотворения мира. Город, никогда прежде не попадавший в руки врага, в котором со дня основания Константином I скопилось невероятное количество драгоценностей, произведений искусства, изваяний, предметов литургического и церемониального обихода, был беспощадно разграблен. Мародерство продолжалось три дня. Некоторые из наиболее заметных произведений поздневизантийского искусства можно в наше время увидеть в Венеции.