К этому времени Иоанн VI уже утратил всяческую охоту и вкус к власти. Он уже купил себе участок земли на горе Афон, и теперь часто заводил разговор – с тоской во взоре – о привлекательности монашеской жизни. С самого начала Кантакузин поддерживал законные притязания Иоанна Палеолога, но теперь тот продемонстрировал, что может быть орудием в руках венецианцев, болгар и Стефана Душана. И в апреле 1353 г. Иоанн Кантакузин объявил Иоанна Палеолога низложенным и вместо него назначил соимператором собственного сына Матфея, подчеркнув при этом, что Палеологи не лишаются прав наследования, а сын Иоанна V Андроник остается престолонаследником. Затем Кантакузин сослал своего зятя со всей его семьей на остров Тенедос.
И вновь Иоанн Кантакузин недооценил оппозицию. Патриарх решительно отказался короновать Матфея, приговорил Кантакузина к отлучению от церкви и затем сложил с себя свои обязанности. Несколько дней спустя он уже направлялся на остров Тенедос к Иоанну V. Некоего Филофея, пылкого приверженца Кантакузина, избрали новым патриархом, но еще раньше, в феврале 1354 г., Матфей и его жена были наконец коронованы.
Менее чем через месяц, 2 марта, сильнейшее землетрясение произвело масштабные разрушения на большей части территории Фракии. Сотни городов и деревень превратились в развалины, в Галлиполи едва ли уцелел хотя бы один дом. Это бедствие еще более усугубили действия турок. Сулейман-паша сразу же отправился в пострадавшие области, взяв с собой множество турецких семей. Большая их часть оказалась в разрушенном Галлиполи, и уже через несколько месяцев на том месте, где еще совсем недавно обитали греки, теперь проживало исключительно турецкое население.
Для империи первое турецкое поселение на Европейском континенте являло собой еще большее бедствие, чем землетрясение. Когда Иоанн потребовал вернуть Галлиполи, Сулейман ответил, что он достался ему по воле Аллаха и возвращение города явилось бы проявлением вопиющей неблагодарности к Всевышнему. Ведь Сулейман не брал город силой – подданные паши просто заняли место, покинутое его прежними обитателями.
21 ноября 1354 г. Иоанн V Палеолог незаметно покинул на корабле остров Тенедос и через Геллеспонт вошел в Мраморное море. На рассвете 22-го он достиг Константинополя, и уже с утра на улицах города начали собираться толпы народа. Вскоре они уже пришли в неистовство. Вновь семейный особняк Кантакузинов был подвергнут разграблению и сожжен. Группа мятежников завладела арсеналом. Другая группа направилась к Влахернскому дворцу. В это время сам Иоанн V разместился в старом дворце, напротив собора Св. Софии. Предложенные им условия мира были на удивление скромными: они с Иоанном VI продолжают править совместно, как и прежде; Матфей остается управителем в Адрианополе до самой своей смерти; Кантакузин на правах верховного императора продолжает жить во Влахернском дворце, тогда как Палеолог занимает дворец Феодора Метохита – один из самых роскошных в городе.
Несколько проблем остались все же неразрешенными. Одной из них было пребывание во Фракии приведенных Сулейманом турок; второй – усиливающаяся непопулярность Иоанна Кантакузина в народе. На протяжении недели Кантакузин как только мог пытался справиться с этой ситуацией, но в конце концов принял решение, о котором думал уже давно. 4 декабря на церемонии во Влахернском дворце Иоанн и его жена Ирина торжественно отложили в сторону императорские диадему и регалии. Затем, надев на себя простую рясу православного монаха, Кантакузин отправился в монастырь.
Иоанн Кантакузин – ставший отныне монахом Иоасафом – царствовал только семь лет, но фактическое управление страной осуществлял на протяжении четверти века и потом в течение десяти лет участвовал в выработке ее политического курса. Ему суждено было прожить еще двадцать девять лет, до 1383 г. В первые годы после ухода из власти Иоанн в основном занимался написанием своей мемуарной «Истории». По завершении этого труда Кантакузин на долгие годы посвятил себя отстаиванию исихастского учения. Однако, как мы вскоре увидим, ему не довелось совсем отойти от участия в политической жизни – как бы он сам того ни желал.