Враги действительно сразу возликовали — и больше всех папа Иннокентий IV. Никого не ненавидел Иннокентий так сильно, как Фридриха II. Антипатия заставляла папу совершать чудеса изобретательности, лишь бы избавиться от противника. Иннокентий не только отлучил императора от церкви — он объявил крестовый поход против Империи и выделил на него средства, тем самым отняв остро необходимые ресурсы у Людовика, собравшегося в крестовый поход против сарацинов. Мало было понтифику натравить на имперское войско армию немецких наемников, он еще и затеял интригу с личным врачом императора, уговорив того отравить Фридриха, хотя затея провалилась. Яд вовремя обнаружили и скормили какому-то преступнику, приговоренному к смерти, а виновному доктору сперва выдавили глаза, затем его подвергли прочим, не менее мучительным пыткам, а потом наконец убили. Фридрих дознался, откуда растут корни заговора, и поклялся отомстить Курии. Иннокентий, который все еще скрывался в Лионе, оценив суровость кары, постигшей преступного доктора, сильно забеспокоился. И вдруг вмешалось провидение и устранило человека, которого папа прозвал «Антихристом».
Но Иннокентий IV знал, что его папская тиара все еще держится нетвердо. У Фридриха осталось два взрослых сына, Конрад и Манфред, и оба были достаточно сильны, чтобы продолжить труды своего отца. Конрад, старший и законный наследник, жил в Германии. Услышав о смерти императора, он немедленно вознамерился отправиться на Сицилию и заявить свои права. Однако его восемнадцатилетний сводный брат Манфред, внебрачный сын Фридриха от самой любимой фаворитки, был лучшим воином, чем он. Манфреда воспитали при дворе императора, он был любимцем отца. И было весьма вероятно, что между этими двумя юнцами возникнут трения относительно права наследования.
Тут Иннокентий понял, что у него есть шанс. Если бы в этот переходный период он как-нибудь исхитрился расколоть империю на два отдельных королевства — Германию и Сицилию, предложив корону Сицилии какой-либо третьей стороне, дружественной Иннокентию, сыновья императора станут не опасны. Тогда уж пусть этот третий, если пожелает, чтобы папа поддержал его королевское звание, берет на себя труды и расходы борьбы с Конрадом и Манфредом. Папа принялся осматриваться, подбирая подходящего кандидата.
Его привлек Карл Анжуйский. Карл и Беатрис, вместе с Альфонсом де Пуатье и его женой, прибыли в Лион летом 1250 года, за пять месяцев до смерти императора, с печальным известием о поражении, нанесенном Людовику IX египтянами. Из Акры они сперва направились ко двору Фридриха II, где умоляли императора отправить войско для спасения короля Франции — но Фридрих вынужден был ответить отказом, поскольку все его солдаты до единого были нужны, чтобы выстоять против папы. Тогда Карл и Альфонс приехали к Иннокентию, пытаясь уговорить его примириться с Фридрихом, чтобы император мог использовать свои войска на благо Людовику. Они пригрозили, что вышвырнут папу из Лиона, если он откажется, и только безвременная смерть Фридриха спасла Иннокентия от необходимости перебираться в Бордо, под сомнительную защиту Генриха III.
Надеясь смягчить французских гостей, Иннокентий предложил Карлу Анжуйскому королевство Сицилию. От Карла требовалось только выплатить Иннокентию то, что он уже затратил (Иннокентий вложил много денег в попытки сбросить Фридриха и хотел вернуть хотя бы часть), собрать войско и отплыть в Рим, где, в качестве дополнительного соблазна, Иннокентий обещал лично короновать его. Оттуда будет совсем просто выступить маршем на юг и сразиться с имперскими войсками. Чутье подсказывало папе, что такой чрезвычайно одаренный человек, как новый граф Прованса, без всякого труда навяжет свою волю Конраду или Манфреду, смотря по тому, кто окажется в тот момент у власти.
Карл Анжуйский в принципе был не против такого предложения — откровенно говоря, он был готов его принять, но ему мешало упрямое желание старшего брата остаться в Святой Земле. Людовик поручил Карлу и Альфонсу собрать новые отряды для очередного похода на египтян; поскольку Карл воспользовался этим предлогом, чтобы оставить брата, он не мог просто забыть о своем долге перед королем Франции ради более выгодного ему лично предложения (хотя и очень соблазнительного).
Пока Людовик оставался в Египте, Карл был обязан хотя бы попробовать оживить интерес к провалившемуся крестовому походу своего самого старшего брата, и потому с сожалением отклонил предложение Иннокентия. Да у него к тому же не было и денег.