Теперь сами Генуя и Венеция схлестнулись в схватке за контроль за водами Черного и Азовского морей, на побережье которых они имели такие важные торгово-предпринимательские укрепленные центры как Тана (Азов), Каффа (Феодосия), Солдайя (Судак), Джалита (Ялта), Чембало (Балаклава) и другие. Порой ожесточенные морские сражения венецианцев, арагонцев и генуэзцев, покрывавшие поверхность вод трупами и остовами кораблей, разыгрывались прямо под стенами Галаты, как это случилось в 1352 г. Не следует забывать, что за год до этого исихасм стал официальной доктриной Греческой Церкви, а это означало отказ от всякого компромисса с католицизмом и еще большее обострение и без того паршивых отношений с латинами.
Став главой остатков Империи, Кантакузин, как и ожидалось, вынужден был вступить в борьбу со своими бывшими союзниками, крупной землевладельческой аристократией, которая помогла ему взойти на трон и, разумеется, рассчитывала на благодарность и вседозволенность со стороны нового василевса. Поздно спохватившись, он повел борьбу с децентрализацией и нравами динатской вольницы. По прежнему рассчитывая на помощь мусульман, Иоанн VI стал селить наемников-турок вокруг столицы, увеличивая тем самым всеобщее раздражение собой. Теперь турок, заявлявших о себе как о союзниках ромеев, можно было увидеть даже в самой столице, куда, приглашенные Кантакузином, они приходили и во время богослужения в придворном храме, по словам Никифора Григоры, устраивали у Влахернского царского дворца свои пляски, «выкрикивая непонятными звуками песнопения и гимны Мухаммеда».
В итоге в 1352–1354 гг. молодой Иоанн Палеолог, не желавший довольствоваться тем, что получил от Кантакузина, напал на фракийский Адрианополь, призвав на помощь сербов и болгар, а с помощью венецианцев, к тому же давших ему солидный заем, стал захватывать эгейские острова. В Византии вспыхнула новая распря, которая в очередной раз подвергла страну смертельной угрозе, съела последние крохи и без того пустой казны, и даже деньги на восстановление Великой церкви, пожалованные в 1350 г. великим князем Московским Симеоном Гордым. Благочестивое даяние ушло на уплату турецким наемникам.
Утративший всякую охоту к власти, осужденный общественным мнением, уставший от ответственности, бесчисленных кровавых междоусобиц, Кантакузин понимал, что, несмотря на тяжкие труды, не может удержать страну на плаву и, видимо, поэтому все чаще заводил меланхоличные разговоры о привлекательности монашеской жизни, даже купил себе участок земли на горе Афон.
Ненастной поздней осенью 1354 г. Иоанн V Палеолог прибыл в Константинополь на двух пиратских галерах, принадлежавших генуэзскому авантюристу Франческо Гаттилузио, пообещав ему за помощь руку своей сестры Марии и остров Лесбос, самый значительный из остававшихся у византийцев островов. Узнав о заговоре, Иоанн Кантакузин прекратил сопротивление, отрекся от престола и, испытывая чувство долгожданного облегчения, постригся в монахи, впрочем, и после этого, еще почти тридцать лет, до глубокой старости сохранив достаточное политическое влияние и авторитет. Его место на троне «досрочно» занял зять, Иоанн V, к которому перебежали недовольные бывшие кантакузинисты.
Эта смена мало что дала стране, а точнее, не дала ничего хорошего, ибо по словам одного из последних ромейских историков,