Затем Папа приложил все усилия для организации крестового похода против турок, и ему даже удалось собрать флот из 16 галер. Порт Рипа Гранде на реке Тибр превратился в настоящую верфь для постройки военных кораблей, за которой наблюдали удивленные римляне. Сам понтифик смотрел на это из окна своего дворца – последние годы жизни он страдал от сильных приступов подагры и передвигался с очень большим трудом. Альфонсо Борджиа совершенно не интересовали гуманизм и античная литература, поэтому для осуществления своей идеи крестового похода он распродал многие ценные манускрипты Ватиканской библиотеки и сокровища церкви. Папа не гнушался даже тем, что срывал и продавал серебряные переплеты рукописей.
Дошло до того, что Каликст III приказал снять и продать все самое ценное с античного саркофага, найденного недалеко от собора Святого Петра, не заботясь о том, что, возможно, в этой могиле мог быть похоронен сам император Константин с одним из своих сыновей. Все изделия из золота и серебра, найденные в склепе, были переплавлены на монеты, которых никогда не было достаточно. За все это Каликста III прозвали «папой-варваром». Потом святой отец велел избавиться от золотой и серебряной посуды в своем дворце и пустить ее на переплавку: он заявил, что вполне может есть и из глиняной. Кроме того, Каликст III обещал индульгенции всем тем, кто пожертвует деньги для крестового похода. Чем больше денег человек жертвует, тем теплее и ближе к Богу будет местечко в Раю, или меньше срок в Чистилище.
Но, как и в эпоху Николая V, его старания не получили поддержки среди европейских монархов. Король Франции Карл VII даже запретил в своей стране распространение папской буллы о крестовом походе и отменил сбор десятины в пользу церкви. То же самое сделали некоторые другие монархи. А герцог Бургундии десятину собирал, но складывал ее в свой собственный карман. Единственным удовлетворением стала победа венгерской армии над войском Мехмеда II, который осуществил идею нападения на Венгрию в июле 1456 года. В честь этого события Каликст III установил праздник Преображения Господня, который католическая церковь отмечает 6 августа, в день снятия турецкой осады Белграда. Кроме того, он ввел обязательный колокольный звон каждый день в полдень, который с тех пор католики называют турецким.
Папа продолжил начатый Николаем V процесс посмертной реабилитации Жанны д’Арк и добился того, что она была полностью оправдана. В эпоху понтификата Каликста III на небе появилась комета Галлея, на которую папа, по-преданию, наложил анафему. Но документально этот факт не подтвержден. После появления кометы начался долгий период неурожая и голода, а потом в Риме произошло землетрясение. Суеверные люди восприняли эти события как протест бога против избрания понтификом Альфонсо Борджиа и против его действий относительно родственников и земляков, которым он раздавал должности направо и налево.
Под конец жизни Каликст III сделал попытку отобрать Неаполитанский престол у своего бывшего воспитанника Ферранте Арагонского, чтобы отдать его своему племяннику Педро Луису, герцогу Сполето. Он мотивировал это тем, что отцом Ферранте на самом деле является не король Альфонсо I, а какой-то мавританский слуга. Но понтифик не успел довести это дело до конца, он скончался 6 августа 1458 года после долгой агонии в возрасте 79 лет. Под конец жизни Папа был настолько плох, что уже напоминал призрак самого себя. После смерти Каликста III Педро Луис, которого преследовали противники папы – семейство Орсини, бежал из Рима в Остию. Он и его брат Родриго переоделись, изменили внешность, чтобы их никто не узнал, и смешались со свитой кардинала Пьетро Барбо.
Официально Рим покидал кардинал Барбо со своей многочисленной охраной, свитой и слугами, среди которых спрятались братья Борджиа. Потом их дороги разошлись – Родриго вернулся обратно в Рим, а Педро Луис добрался до приморского города Чивитавеккья, с трудом преодолев опасное путешествие на маленькой лодке по бурному морю. Но судьба повернулась к нему спиной, и месяц спустя он умер. По официальной версии его смерть наступила от малярии, но, возможно, это было отравление. Все имущество Педро Луиса перешло по наследству его младшему брату Родриго, а земли Беневенто и Террачина отошли снова церкви.
Разъяренные римляне разграбили дворец понтифика и резиденции его сподвижников испанцев не только в Риме, но и за пределами города. Многие из каталонцев были схвачены и забиты до смерти, другие брошены в тюрьмы. Родриго Борджиа удалось спастись чудом – когда дело дошло до его резиденции, он вышел на порог и осенил народ крестным знамением – то есть благословил толпу. Столь смелый жест ошеломил нападавших, они не знали, как себя повести в такой ситуации, потому кардинала Борджиа не тронули.