Разграбления первых лет существования Латинской империи оказались разрушительными для нее. Кроме того, поскольку императоры не смогли отвоевать все территории Византии, они потеряли и значительную часть ее ресурсов. Вместе с потерей Фракии, Македонии и берегов Мраморного моря империя лишилась экономических ресурсов. Уменьшение территории лишило государство той ключевой роли в Средиземноморье, которую оно играло в византийские времена. Константинополь все еще очаровывал современников, но уже никогда не смог вернуть себе былого великолепия. Конечно, город продолжал быть столицей, его статус переживет поколения и династии, но после осад 1203–1204 гг. он пребывал в упадке. В 1204 г. население города составляло около 400 000 человек, в XIII в. число жителей резко сократилось. Внутри городских стен засеивали поля, а ремесленные производства высококачественных изделий затухали.
Тем не менее правители, называвшие себя «императорами Константинополя», понимали символическое и идеологическое значение столицы. Подобно предшественникам, они прилагали все усилия к тому, чтобы украсить ее. В первые годы своего господства франки активно действовали в этом направлении, в особенности это касалось облика религиозных сооружений, но из-за нехватки средств все попытки стали постепенно сходить на нет. Правители продолжали жить в императорских дворцах, в Буколеоне или во Влахернском дворце. Константинополь же оставался ареной, на которой происходили императорские коронации, свадьбы, религиозные процессии и триумфальные въезды правителей, но все это не могло скрыть очевидную слабость империи.
Несмотря на заверения своих правителей, Латинское государство не было ни законным преемником Византии, ни империей в полном смысле слова. Латинская империя была франкской колонией в средневековом понимании этого термина, феодальным государством, желавшим казаться независимым, но на деле подчинявшимся Западу, и в особенности Венеции. Слабости и недостатки административной культуры способствовали сокращению автономии империи. Как и в других латинских государствах Востока, ее население было слишком малочисленным. При том что боевой дух франков оставался на высоте, а командование было достаточно эффективным, они находились в меньшинстве. Для того чтобы продлить жизнь своему государству и повысить его боевую готовность, закон предписывал франкам не покидать империю больше чем на один год и один день под угрозой лишения земельных наделов. Латинянам нужно было вкладывать все силы в защиту имперских границ, но возможностей было слишком мало. При Генрихе имперская армия насчитывала не более 600 рыцарей и 10 000 пехотинцев, включая арбалетчиков и лучников, а также вспомогательные отряды из местных наемников, так называемых туркополов. Защита Латинской империи не вдохновляла западных рыцарей, желавших в первую очередь поучаствовать в Крестовых походах. Некоторые обосновывались на новых территориях, но большинство сразу покидали завоеванные земли. Всего 3000 латинян бежали, когда Михаил VIII вошел в Константинополь. Смешанные браки, существовавшие на всех уровнях, не смогли решить проблему нехватки населения, которая не позволяла франкам уверенно управлять своими землями и защищать их от внешней угрозы.
Латинские правители находились в постоянном, но безрезультатном поиске помощи со стороны, на что беспрестанно сетовал император Генрих. Его желание участвовать в Крестовом походе отвечало простой стратегической задаче: он хотел показать Западу сияющую мощь Латинской империи в надежде привлечь часть рыцарей на свою сторону. Один за другим императоры были вынуждены искать помощи в родных краях. Пьер де Куртене получил крупную сумму, заложив графство Тоннер своему зятю, для того чтобы собрать армию из 160 рыцарей и 5500 пехотинцев. В 1236 г. Балдуин II отправился в четырехлетнее странствие в Западную Европу в поисках новых людей и ссуд. Ему пришлось заложить прославленную реликвию — терновый венец — венецианскому купцу, а тот перепродал его Людовику IX. Балдуин был вынужден продавать даже свинец и медь, снятые с крыш столичных церквей и дворцов, а в конце концов отдать в залог венецианцам своего сына Филиппа.