Вскоре у Иоанна V возник повод пожалеть о своей снисходительности. В марте 1376 года прибыли послы из Венеции: после устранения Андроника дож желал привести в исполнение соглашение, заключенное шесть лет назад. В обмен на Тенедос он предложил еще 30 000 дукатов и возвращение драгоценностей короны и пообещал, что знамя империи будет развеваться над островом вместе со знаменем Венецианской республики. Однако генуэзцы снова помешали осуществлению этого плана, и вновь их мысли обратились к Андронику. В июле им каким-то образом удалось организовать его побег из тюрьмы, после которого Андроник отправился прямиком к Мураду и пообещал ему немедленное возвращение Галлиполи. Мурад предоставил ему смешанное войско, состоявшее из кавалерии и пехоты, с которым он смог войти в столицу. Иоанна V и его семью вскоре вынудили сдаться, и Андроник с удовольствием заключил их в тюрьму Анемас, которую сам недавно покинул; после этого он официально даровал Тенедос Генуе. Год спустя, 18 октября 1377 года, его короновали как Андроника IV, а его малолетнего сына – как его соправителя Иоанна VII. Однако генуэзцы так и не получили свой дар: византийский наместник на Тенедосе отказался отдать им остров, хотя вскоре с радостью уступил его венецианцам. Султану Мураду повезло больше: к концу 1377 года Галлиполи вновь был в его власти.
Не совсем ясно, как Иоанну V и Мануилу удалось выйти на свободу, но через три года они смогли сбежать через Босфор в единственное доступное им убежище – лагерь Мурада неподалеку от Хрисополя. Добравшись туда, в обмен на восстановление на троне себя и своего отца Мануил пообещал султану повышенную дань, дополнительную военную помощь и – самое унизительное – город Филадельфию, последний византийский аванпост в Малой Азии. Стороны быстро пришли к соглашению. Турки предоставили войско, а венецианцы, сильно желавшие избавиться от Андроника, прислали небольшой флот, и 1 июля 1379 года два императора вновь вошли в Константинополь, вынудив Андроника IV бежать к его друзьям-генуэзцам в Галату. Мир восстановился лишь в апреле 1381 года. По условиям договора Андроника IV вновь сделали наследником престола, а преемником должен был стать его сын Иоанн VII; пока ему выделили небольшой надел на северном побережье Мраморного моря. Неизвестно, как отреагировал на это соглашение Мануил, который больше, чем кто-либо, имел заслуги перед своим отцом, но он больше не мог простить Иоанну V его пораженчество и наотрез отказался принять претензии турок на Балканский полуостров. Осенью 1382 года он вернулся в Фессалоники. На его счастье, невыносимый Андроник IV умер в июне 1385 года, что вновь сделало Мануила законным сонаследником того, что осталось от Византии.
1381 год поставил точку в конфликте между Венецией и Генуей, когда две измученные войной республики с благодарностью приняли предложение графа Амадея стать между ними посредником. После четырех лет кровопролития в политическом смысле обе стороны остались на прежних позициях. Решили, что Тенедос останется нейтральной территорией, и обе республики пообещали, что приложат все усилия для обращения Византийской империи в католическую веру. Что же собой представляла эта империя? Она больше не была империей – просто четыре небольших государства, правили которыми так называемые императоры и деспот. Несмотря на то что после 1383 года все эти правители принадлежали к дому Палеологов, каждый был фактически независим от остальных, хотя и несвободен от своего турецкого сюзерена. Иоанн V правил в Константинополе; Андроник IV со своим сыном и соправителем Иоанном VII – северным берегом Мраморного моря и еще больше зависели от милостей турок; Мануил II управлял Фессалониками; Феодор I, четвертый сын Иоанна V, владел деспотатом Морея со столицей в Мистре. Феодор, в 1380 году ставший преемником Мануила Кантакузина (сына Иоанна VI), тоже был вынужден превратиться в турецкого вассала, но тем не менее ему удалось сделать Морею самым сильным и процветающим бастионом гибнущей Византии.