Хотя Иоанн VI Кантакузин и Иоанн V Палеолог делали шаги к примирению (между Иоанном V и дочерью Кантакузина был заключен брак), напряжение в отношениях соправителей росло. Иоанн Кантакузин уверял молодого императора Иоанна V в полном равноправии, однако в действительности проводил династическую политику, продвигая своих сыновей. В 1349 г. сын Иоанна Кантакузина, Мануил Кантакузин (Асень), был провозглашен деспотом (правителем) Мореи и Мистры. Под его началом город благоденствовал вплоть до 1380 г. Иоанну V достались Фессалоники, но позже он бежал в родной город Дидимотику, который до этого находился под управлением Матфея, старшего сына Кантакузина.
Провозглашение Матфея соправителем Иоанна Кантакузина в 1353 г. заставило Иоанна V начать решительные действия: заручившись поддержкой генуэзцев, он в течение года сумел захватить Константинополь, заставил Иоанна Кантакузина отречься от престола и принять монашеский постриг. Приняв монашество под именем Иоасафа Христодула, бывший император оставался «серым кардиналом» на арене исторических событий вплоть до своей смерти в 1383 г., оказывая политическую и идеологическую поддержку императорам, которые в то время так или иначе приходились ему родственниками. Матфей был вынужден отказаться от имперских притязаний и позже присоединился к своим брату и отцу в Мистре.
Незадолго до переворота, организованного Иоанном V, произошло землетрясение, уничтожившее стратегически значимую крепость Галлиполи. Османы во главе с эмиром Сулейманом, сыном Орхана I и мужем дочери Кантакузина, пересекли пролив и заняли крепость, захватив пленников (самым известным из которых был Григорий Палама). Учреждение османского аванпоста на полуострове Галлиполи традиционно считается первым этапом завоевания Балкан, которое завершилось примерно в течение столетия. Чем сильнее становились османы, тем больше слабела Сербия: со смертью Душана в 1355 г. его обширное государство распалось на многочисленные и враждовавшие между собой разрозненные княжества.
Следующие десятилетия четко обозначили основную угрозу для всех государств Восточного Средиземноморья, будь то греческих, латинских или славянских, – османы никого не щадили. Разрешить ситуацию можно было только дипломатическим путем, поскольку Византия уже не располагала достаточной мощью, чтобы разрешить конфликт силой. Помощь мог оказать лишь Запад, а решение о ее предоставлении принимал Рим. На повестке вновь возник вопрос церковной унии, главной целью которой был крестовый поход против османов, чье продвижение, казалось, уже нельзя было остановить: Дидимотика и Адрианополь (который вскоре стал столицей Османской империи) были захвачены к 1362 г., Пловдив – к 1363 г. Именно тогда был организован очередной, Савойский крестовый поход. Его возглавил Амадей VI Зеленый, граф Савойский (кузен Иоанна V по линии матери), объединив под своим началом венгерские войска и армию Лесбоса (в то время остров находился под контролем генуэзцев), и в 1366 г. отвоевал Галлиполи. В истории это предприятие стало единственной успешной военной кампанией против османов.
В 1369 г. Иоанн V отправился в Рим с особой миссией – руководствуясь личными побуждениями, он признал папскую власть и принял католичество. Византия восприняла это спокойно. На обратном пути в Византию Иоанна задержали в Венеции за долги; чтобы получить разрешение продолжить путь, он был вынужден оставить младшего сына Мануила в качестве почетного заложника. События двух последних десятилетий правления Иоанна разворачивались на фоне непрекращающихся османских завоеваний и семейных раздоров. Уже в 1372–1373 гг. византийский император стал вассалом эмира Мурада I. Для Иоанна V это означало не только необходимость платить немалую дань, но и предоставлять военные силы для поддержки османов в их кампаниях. Андроник IV, старший сын Иоанна, был лишен права наследования престола, поэтому поднял восстание против своего отца в союзе с османским принцем Савджи-беем. Вероятно, Андронику претило совместное правление, поскольку он замещал своего отца на троне, когда тот покидал пределы страны. Восстание было подавлено, Андроник заключен под стражу, а его младший брат Мануил провозглашен соправителем.
В 1376 г. Андроник предпринял еще одну попытку узурпации власти, организовав бунт против отца и младшего брата, и даже захватил Константинополь при поддержке османов, посадив Иоанна и Мануила в тюрьму. В качестве платы за помощь Андроник вернул османам Галлиполи. В 1379 г. Иоанн и Мануил бежали к Мураду и предложили ему более выгодные условия, чем Андроник, в том числе пообещали сдать Филадельфию, последний христианский анклав в Анатолии; позднее Мануил был вынужден принять участие в военной кампании османов и захватить город.