Папу это совершенно не тронуло, да и подданные королевства не ощущали особой заинтересованности в судьбе ребенка, которого никогда не видели. Зато некоторые из них сосредоточили свои надежды на блистательном Манфреде, а другие тешили себя предложением Папы, объединить города и их предместья в свободные коммуны под властью Церкви. Иннокентий, вначале намеревавшийся предложить сицилийскую корону какому-нибудь иностранному правителю, теперь, когда его противники оказались разделенными, решил, что может сам захватить власть над королевством. Бальо Бертольд оказался перед дилеммой. Он мог рассчитывать на Пьетро Руффо, но тот столкнулся с движением в защиту коммун на острове и не мог прислать ему подкрепление. Бертольд мог также рассчитывать и на Иоанна Мавританского, но Иоанн утратил контроль над сарацинскими полками, которых переманивали друзья Манфреда. Большинство других сторонников Гогенштауфенов тоже начали переходить на сторону Манфреда. Папа Иннокентий поспешил на юг в Ана-ньи. В отчаянии Бертольд послал туда Манфреда для переговоров с Папой. Иннокентий согласился с тем, что права Конрадина следует принять во внимание, когда тот достигнет совершеннолетия, но пока что папство должно владеть королевством. Бертольд был готов согласиться, поскольку не видел иных способов обезопасить будущее Конрадина. Но Бертольд не сумел увлечь за собой своих сторонников, и у него не хватало денег, чтобы платить своим войскам. Он оставил пост бальо, и Манфред занял его место.27
Однако у Манфреда оказалось ничуть не больше влияния, чем у Бертольда. В сентябре 1254 г. Папа переместился к границам королевства в Сан Джермано. Три недели спустя Манфред принял условия, предложенные Иннокентием. Королевство должно было перейти под контроль папства, а решение по поводу будущих прав Конрадина оставалось в силе. Манфред получал обратно полный удел в Таренто, а его дядья — земли, конфискованные Конрадом. Манфред также становился наместником в провинциях на материке, за исключением Терра ди Лаворо.28
Ни Иннокентий, ни Манфред не собирались мириться с этим соглашением. Сначала они сохраняли видимость дружеских отношений. Когда Папа пересекал реку Гарильяно 11 октября, Манфред встретил его и шел рядом, ведя под уздцы его лошадь. Но тем временем племянник Папы, кардинал Гульельмо деи Фиески, вел папскую армию на юг и требовал от населения присяги на верность, что было прямым пренебрежением правами Конрадина. Сам же Папа, чтобы заручиться поддержкой Пьетро Руффо, предложил ему пост наместника на Сицилии и в Калабрии, хотя последняя географически принадлежала к области наместничества Манфреда. Затем Манфред, прибыв вместе с Папой в Теано, обнаружил, что его земли в Монте Гаргано заняты назначенцем Папы, Борелло Англонским. Манфред выехал, чтобы посоветоваться с Бертольдом, который двигался из Апулии. Но по пути Манфред попал в засаду Борелло, который пытался его убить, но сам погиб во время схватки. Бертольд проехал мимо и прибыл в ставку Папы в Капую 19 октября. Манфред отправился в Лучеру, где Иоанн Мавританский со своими сарацинскими воинами охранял королевскую казну. Кардинал Гульельмо с папской армией следовал за ним по пятам, тоже стремясь в Лучеру и к казне. Манфред прибыл туда первым 2 ноября и узнал, что Иоанн уехал, чтобы подчиниться Папе.29
Теперь Манфред был убежден, что Папа намерен его уничтожить. Используя все свое красноречие и обаяние, он убедил сарацин в Лучере передать ему казну и присоединиться к его армии, чтобы поднять восстание. Когда стало известно о действиях Манфреда, сторонники Гогенштауфенов по всей Апулии начали стекаться к нему со всех сторон, в их числе была большая часть германских войск Бертольда, недовольных пренебрежительным отношением кардинала к правам Конрадина. Бертольд все еще склонялся к переговорам, но 2 декабря Манфред собрал достаточно большую армию, чтобы атаковать те германские войска, которые не захотели перейти на его сторону, и разбил их армию во главе с братом Бертольда, Оттоном, возле Фоджи. Бежавшие с поля битвы примкнули к армии кардинала, стоявшей у Трои, и посеяли панику. Папские солдаты были наемниками, и им задерживали жалованье, поскольку кардинал рассчитывал захватить казну в Лучере; услышав о победе Манфреда, они тут же разбежались, а кардинал умчался сквозь зимнюю вьюгу в Ариано. Вся Апулия покорилась власти Манфреда без боя.30