Несмотря на помощь венецианцев, Латинская империя оказалась бессильной перед лицом начавшейся византийской реконкисты. Давление, оказываемое соседними государствами, ослабило позиции империи в Восточном Средиземноморье. После захвата Константинополя три греческих государства объявили себя законными наследниками Византии, а своей целью провозгласили уничтожение Латинской империи. Два из них находились под властью членов предыдущей императорской фамилии: Трапезундская империя, образованная двумя внуками Андроника I Комнина на побережье Черного моря, и Эпирский деспотат на северо-западе Греции, основанный двоюродным братом императоров Исаака II и Алексея III Михаилом Комниным Дукой. Однако самая сильная угроза исходила от Никейской империи на северо-западе Малой Азии, основанной в 1208 г. Феодором Ласкарисом, зятем Алексея III, коронованным новым православным патриархом в качестве императора и автократора ромеев. Спустя несколько десятилетий это государство осталось единственным, которое было способно отвоевать византийские земли.
Перед лицом этой опасности, хотя их противники и были разобщены, латинским императорам не удавалось сформировать сколь-либо прочных альянсов с врагами греков — болгарами и турками-сельджуками. Договоренности заключались лишь на короткие сроки. Император Генрих вел активную дипломатическую деятельность, направленную на то, чтобы защитить северные рубежи и закрепить присутствие латинян на Балканах. В конце 1209 г. он подписал пакт о дружбе (
Преемники Генриха пытались продолжать политику альянсов. Иоланда выдала свою дочь Марию замуж за никейского императора Феодора I Ласкариса. Балдуин II должен был сочетаться браком с дочерью болгарского царя Ивана Асеня II, но франки упустили этого драгоценного союзника. В 1231 г. франкские бароны предпочли Иоанна де Бриенна болгарскому царю в качества регента, а болгары тем временем уладили свои отношения с Никейской империей. В 1235–1236 гг. они даже совместно атаковали Константинополь. Балдуин II пытался изолировать Никейскую державу: в 1239 г. он заключил союз с язычниками-половцами, в 1243–1244 гг. вел переговоры с Римом, чтобы примирить папу с Фридрихом II, союзником византийцев, а около 1252 г. предпринял попытки сближения с монголами. Однако союз с монголами, а также с турками-сельджуками заключает Никейская империя. Латинские государи, включая Генриха, пренебрегали созданием прочных союзов с государствами Западной Европы, которые могли бы больше беспокоиться о судьбе империи. В конце концов Латинское государство перестало играть важную геополитическую роль в своем регионе. Череда перемирий с Никейской империей лишь отодвигала неминуемый конец.
Отсутствие военных ресурсов и эффективной дипломатии вкупе с усилением никейских греков приближали падение Латинской империи. Преемников Генриха I ждали нескончаемые неудачи. После 1224 г., когда правитель Эпирского царства Феодор Ангел Комнин Дука захватил Фесалонники, Латинская империя начала постепенно разрушаться. С 1226 г. Иоанн III Ватац (1221–1254), зять Феодора Ласкариса, начал теснить франков в Малой Азии и на многочисленных Эгейских островах, в 1235 г. он захватил Фракию и часть Македонии. К моменту смерти императора Роберта в 1228 г. империя сжалась до пределов Константинополя и его окрестностей. Помимо столицы и территорий, занятых венецианцами, латиняне контролировали лишь Морейское княжество и Наксосское герцогство. Несмотря на то что попытки никейцев взять город в 1235–1236 гг. и в 1238 г. оказались безуспешными, дни империи были сочтены. Ее последним усилием стала «антиникейская» коалиция, образованная в 1258 г. деспотом Эпира, сицилийским королем Манфредом и правителем Морейского княжества Гильомом де Виллардуэном. Однако они были разбиты в 1259 г. в битве при Пелагонии в Македонии войсками Михаила VIII Палеолога, ставшего никейским соимператором в январе того же года. В 1260 г. Михаил предпринял неудачную попытку подвергнуть столицу осаде, зато от пленного морейского князя он получил три крепости на Пелопоннесе, послужившие опорными пунктами при дальнейшем отвоевании полуострова. Поглощенная войной с Генуей, Венеция более не могла оказывать поддержку Латинской империи. В марте 1261 г. Михаил VIII заключил с генуэзцами Нимфейский договор, по которому республика предоставляла византийцам флот в обмен на многочисленные экономические привилегии, включая право на вход в Черное море.