Но Иоанн V сдержал обещание. Вновь оставив старшего сына и коронованного соправителя в качестве регента, в начале лета 1369 года он отправился в путь в сопровождении свиты, в которую входили несколько церковных иерархов, относившихся к этой затее с большим неодобрением. 18 октября в Риме он официально подписал свое подчинение Римской церкви и ее главе – папе римскому и поставил на нем свою императорскую печать, а в следующее воскресенье поклонился верховному понтифику на ступенях собора Св. Петра. Этот поступок остался личным, не вовлекающим других людей актом, и публичное самоуничижение Иоанна V привело лишь к опасному ослаблению его положения в Константинополе.
За некоторое время до этих событий император получил письмо от венецианского дожа Андреа Контарини, в котором тот напоминал ему о драгоценностях византийской короны, заложенных императрицей Анной в 1343 году за 30 000 дукатов; проценты за этот залог быстро росли, так что, возможно, он захочет посетить Венецию по пути домой? Иоанн V прибыл туда в начале мая. При обычных обстоятельствах первый визит византийского императора в Венецию отпраздновали бы с таким размахом, на который не было способно ни одно другое государство; однако венецианцы относились к бедности без уважения. Атмосфера немного разрядилась, лишь когда император предложил венецианцам остров Тенедос у входа в Дарданеллы в обмен на обещание вернуть драгоценности, экипировать 6 военных кораблей и выплатить 25 000 дукатов, 4000 из которых император желал получить сразу, смущенно признавшись, что у него недостаточно денег, чтобы вернуться домой.
Дож охотно согласился, но регент Андроник, на которого оказывали серьезное давление генуэзцы в Галате, отказался отдавать остров Венеции. Венеция в ответ отказалась давать деньги, и Иоанн фактически оказался пленником венецианцев, так как Андроник и пальцем не пошевелил, чтобы ему помочь. В конце концов помощь пришла от его сына Мануила, наместника в Фессалониках. Покинув город в середине зимы, Мануил поспешил по засыпанной снегом Эгнатиевой дороге, захватив золото, которого было достаточно для освобождения отца. Лишь благодаря ему Иоанн V смог покинуть Венецию в марте 1371 года, получив от венецианцев 30 000 дукатов.
Дома его тоже ждали скверные новости. 26 сентября 1371 года турки полностью разбили сербскую армию на берегу реки Марица (иначе битва при Черномене), и больше ничто не могло помешать им овладеть Сербией, Македонией и Грецией. С того времени сербская знать считалась лишь вассалами, обязанными платить дань османскому султану, как отныне именовал себя Мурад, и по первому требованию оказывать ему военную поддержку. В 1373 году Иоанн V тоже был вынужден стать вассалом, как и болгарский царь – вероятно, просто от отчаяния. Когда под контролем турок находились и Сербия, и Болгария, крестовые походы стали практически невозможными; отрезанная от Запада Византия не могла создавать даже видимость сопротивления. Лишь объединившись с султаном, Иоанн V мог надеяться спасти хоть какие-то обломки империи: по крайней мере, Мурад мог остановить банды турецких мародеров в Македонии и Фракии, а также помочь Иоанну укрепить свои позиции против собственного сына Андроника, который вызывал у него все большую тревогу.
Именно по этим причинам в мае 1373 года Иоанн оказался в Анатолии, где сражался на стороне султана. Это само по себе было достаточно унизительно, однако еще хуже было то, что Андроник открыто взбунтовался против императора и султана. Разъяренный Мурад потребовал, чтобы Иоанн V приказал ослепить сына, и император знал, что не сможет ему отказать, но все же добился некоторого милосердия к жертве: Андроник утратил зрение не до конца и был заключен в тюрьму в Константинополе, официально лишившись права наследовать трон. Теперь престолонаследником стал Мануил, которого вызвали из Фессалоник и 25 сентября короновали как соправителя Иоанна.