К середине 50-х годов турки взяли под контроль материковую Грецию. В 1456 году войска Мехмеда II завоевали Афины. В июле 1456 года турки появились в центре Европы с намерением подчинить Венгрию и прежде всего Белград, на тот момент венгерский город. Большинство полагали, что Белград придётся отдать. Героическая оборона и последующая контратака защитников Белграда заставили Мехмеда отступить. Успех воодушевил христиан, но только на короткое время. Крестовый поход, который мог бы остановить продвижение турок, не говоря о победе над ними, был невозможен. Призывы к правителям Италии, Германии, Польши, Франции, Бургундии, Дании присоединиться к венграм оставались без ответа. Между прочим, Федерико Монтефельтро не позволил сделать официальное объявление о крестовом походе на своей территории и запретил собирать налоги, и Каликст III пригрозил ему отлучением от церкви. В своих действиях Федерико не был одиноким. Под разными предлогами правители отказывались финансировать крестовый поход. Все знали, что только малая часть собиравшейся по всей Европе десятины доходила до Рима. В основном деньги расползались по чужим карманам.
В 1458 году папой римским избрали Энея Сильвио Пикколомини. Во время конклава Виссарион голосовал против Пикколомини, что не помешало им в дальнейшем стать друзьями. Портреты папы Пия II и кардинала Виссариона – парные в галерее Урбино. Оба деятеля изображены на портретах с книгами в руках. Приблизительно одного возраста, блестящие дипломаты с безукоризненными манерами, они всерьёз занимались литературным творчеством и ценили учёность и образованность. У обоих было небезупречное прошлое с точки зрения католической правоверности. Но больше всего их сблизил крестовый поход, которому они отдали все свои силы.
В своей «Хронике первосвященников» (
К величайшему разочарованию Пия и Виссариона правители Европы на конгресс не приехали. От полного фиаско собрание спас приезд в Мантую миланского герцога Франческо Сфорца. Следуя его примеру, на встречу прибыли и некоторые другие итальянские правители. Пий II объявил крестовый поход. Все, кто будет служить в армии, получали индульгенции. Все монастыри обязывались содержать хотя бы одного война на каждые десять монахов. Кардинал Виссарион работал над составлением конкретного плана крестового похода. Он производил подсчёты войск и оружия, организовывал сбор десятины и назначал проповедников в войска.
Пий II не оставлял надежды склонить к крестовому походу Фридриха III, а потому он отправил Виссариона в Германию договариваться с
императором. Виссарион проделал тяжелейший переход через зимние Альпы. В германских городах он выступал с блестящими речами. Германия молчала.
В мае 1460 года Виссарион прибыл в Вену. Как знак особого доверия Фридрих III пригласил Виссариона стать крёстным отцом своего сына Максимилиана. На этом доверие закончилось. Императору было не до крестового похода. Он воевал со своим с младшим братом Альбрехтом, и Вену окружили войска противника. Из-за осады Виссарион долго не мог покинуть город. В сентябре 1461 года Виссарион вернулся в Италию ни с чем.
В 1460 году турки завоевали Морею, а в мае 1460 года пала Мистра. В августе 1461 года пал Трапезунд. Ещё одна христианская империя разрушилась под ударами мусульман.
В 1460 году брат погибшего императора Дмитрий Палеолог сдался туркам. Ему назначили пенсию, а дочь взяли в гарем. По некоторым источникам сам Дмитрий Палеолог удалился в монастырь, где и проживал до конца жизни.
В июле 1460 года в Италию вместе с женой и детьми прибыл другой брат погибшего императора – Фома Палеолог. Виссарион подсказал Фоме привезти с собой реликвию, череп апостола Андрея. Приобретение Италией бесценной реликвии Пий II считал самым важным событием за время своего понтификата. По словам верующих, апостол Андрей смог воссоединиться со своим братом апостолом Петром.
Про старшую дочь Фомы Палеолога Елену известно, что она умерла в 1474 году. Младшая дочь Зоя вместе с братьями Андреем и Мануилом воспитывались в Риме за счёт папы. Их воспитанием занимался кардинал Виссарион.
В марте 1462 года папа Пий II устроил секретную встречу с шестью наиболее близкими ему кардиналами. Он сообщил им о своём решении возглавить крестовый поход.
В 1463 году умер Исидор Киевский. Новым патриархом Константинополя избирали Виссариона, тем самым не признавая избранного в занятом турками Константинополе патриарха Геннадия Схолария.