Однако главная проблема заключалась в другом – что делать с турками, когда они перестанут быть нужны. Когда военные действия подошли к концу, большинство солдат последовали за своим командиром Сулейманом обратно через Дарданеллы на Османскую территорию, но часть осталась и начала грабить фракийские деревни и вообще доставлять всевозможные неприятности. Это было вовсе не авангардом исламского завоевания, а обычным для Средних веков явлением. Во времена Столетней войны, едва наступало затишье, точно такие же оставшиеся не у дел английские солдаты бродили по Франции, высматривая, что бы им украсть. Однако со временем эти группы турецких солдат усилились благодаря новым поступлениям: летом 1348 года около 2000 турок без приглашения переправились через Дарданеллы. Кантакузин перехватил злоумышленников и после короткой стычки заставил их сложить оружие. Возможно, в дальнейшем он обошелся бы без помощи турок вовсе, но не успел один конфликт разрешиться, как возник другой. А затем стало ясно, что Византии грозит новая гражданская война. В Фессалониках молодой Иоанн V, которому надоела опека тестя, собирал себе мощную поддержку. В то же время собственный старший сын Кантакузина, Матфей, начал требовать, чтобы он, а не Иоанн был назначен наследником престола. Император делал все возможное, чтобы уладить конфликт, но ему удалось лишь ненадолго отсрочить кризис, и к лету 1352 года Иоанн V и Матфей Кантакузин начали войну друг с другом во Фракии.
За этими событиями очень внимательно следили при дворе османского эмира в Прусе. Орхан все еще был зятем Кантакузина и его союзником. Он никоим образом не нес ответственности за поведение турок во Фракии – они действовали по собственной инициативе. Но при всем при этом он не мог не понимать, какой легкой мишенью для завоевания становилась теперь византийская Фракия. И Иоанн V, и Матфей Кантакузин хотели завербовать турецких наемников, и Сулейман с войском были отправлены на помощь последнему. Но теперь османы вели себя во Фракии не так, как прежде. Летом 1352 года Сулейман спокойно занял небольшую гавань и крепость Цимпе на европейском берегу Мраморного моря, а неоднократные просьбы Кантакузина покинуть город попросту игнорировал. Действовал ли он по приказу своего отца или нет, но Сулейман явно готовил плацдарм. Правда, пока что турки мало что могли сделать, чтобы воспользоваться этим завоеванием. Флота у них не было, и они не могли переправить в Цимпе большую армию, чтобы укрепить гарнизон.
Вечером 1 марта 1354 года жители Константинополя были напуганы серией мощных подземных толчков. Один из горожан описал потом, как не мог подняться на ноги, и ему оставалось лишь беспомощно смотреть, как его драгоценные книги падают одна за другой с полки на пол. К счастью, эпицентр землетрясения находился далеко на юге. Когда рассвело, все вздохнули с облегчением, потому что выяснилось, что столица почти не пострадала. Но портовому городу Галлиполи на Дарданеллах не так повезло. Многие строения разрушились, целые дома провалились под землю. Крепостная стена, окружавшая город с суши, рассыпалась. На другой стороне узкого пролива турки-османы также ощутили подземные толчки и хорошо видели, что случилось с Галлиполи. Еще до исхода дня они уже погрузились в лодки, переправились через пролив и захватили город. Стоявший в самом узком месте пролива, Галлиполи был как раз тем плацдармом, в котором нуждались османы. Здесь для переправки армии не нужен был никакой флот, достаточно было лодок. Все произошло так быстро, что никто, похоже, не успел осознать опасности, а потом стало слишком поздно. Византийский корабль, везший архиепископа Фессалоник в Константинополь, был захвачен при проходе через пролив, и его экипаж даже не успел понять, что произошло. Знатного пассажира корабля доставили в Никею, чтобы дождаться выкупа. А вскоре после этого Сулейман явился лично требовать у императора Галлиполи для османского эмира.
Самым правильным было бы выгнать турок из захваченного города, прежде чем они восстановят укрепления и утвердятся там. Но летом 1354 года Иоанн VI Кантакузин стремительно терял контроль над своей империей, поскольку его попытки примирить сына и зятя не увенчались успехом. Он написал Орхану, прося о встрече, чтобы обсудить проблему Галлиполи и Цимпе, но эмир сослался на то, что болен, и встреча так и не состоялась.
Наступила осень, а турки все еще были в Галлиполи. В один ноябрьский вечер Кантакузин узнал, что в одной из маленьких константинопольских бухт высадился Иоанн V с группой вооруженных людей. Император и его сторонники забаррикадировались в Большом дворце, в то время как последователи Иоанна заняли Августеон. В течение нескольких дней обе стороны выжидали, каждая на своей позиции. А затем уставший от бремени власти Кантакузин объявил о своем отречении. Он передал правление Иоанну V и принял постриг под новым именем Иоасаф.