Как уже было рассказано выше, в конце XII века германский государь Генрих VI Гогенштауфен, сын Фридриха Барбароссы, благодаря своему браку с норманнской принцессой Констанцией, наследницей норманнского государства в Южной Италии и Сицилии, объединил Королевство Обеих Сицилий под своей властью и вместе с тем унаследовал упорную вражду норманнов к Византии и их завоевательные планы. Единство Королевства Обеих Сицилий с Германией сохранялось до 1250 года, когда умер Фридрих II Гогенштауфен, после смерти которого его побочный сын Манфред сделался королем сицилийским; в Германии же воцарился на короткое время законный сын Фридриха Конрад IV. Под управлением Манфреда, заботившегося не только о материальных, но и о духовных интересах своего государства, Сицилия наслаждалась глубоким миром; двор его был самым блестящим двором того времени; иностранные государи с уважением относились к Манфреду, и бежавший из Константинополя последний латинский император Балдуин II обращался к нему за помощью о возвращении утерянного трона. В отношении Византии Манфред усвоил политику своих предшественников, которая должна была серьезно беспокоить Михаила VIII – особенно с точки зрения возможной латинской реставрации в Константинополе. А тут еще подеста (главный представитель) живших в Константинополе генуэзцев, которые в то время пользовались исключительно благоприятными условиями торговли в Византии, вступил в сношения с Манфредом и предложил план внезапного овладения Константинополем и восстановления в нем латинского господства. Узнав об этом, разгневанный Михаил VIII выслал генуэзцев из столицы и завязал сношения с Венецией, результатом чего был новый договор с республикой св. Марка, восстанавливавший и подтверждавший прежние привилегии венецианцев и обязывавший их совместно с греками выступить против генуэзцев, если те откроют военные действия против империи.
Но каких-либо реальных действий против Византии Манфред начать не успел, так как стал жертвой папской интриги. Папы, видя, что сила Гогенштауфенов после смерти Фридриха II, непримиримого врага папства, ослабла, решили в лице Манфреда нанести ненавистной династии окончательный удар. Исполнителем папских планов явился Карл Анжуйский, брат французского короля Людовика IX Святого. Но папа, призывая Карла занять Сицилийское королевство, имел в виду не только уничтожение Гогенштауфенов, но и ту помощь, которую Карл мог дать для восстановления Латинской империи на Востоке; по крайней мере, папа выражал надежду, что при помощи Карла «положение империи Романии будет исправлено».
Существует немного крупных исторических фигур, которые бы изображались историками в столь мрачных красках и, может быть, не совсем правильно, как Карл Анжуйский. После ряда работ о нем можно теперь навсегда покончить с легендой, которая делала из него настоящего тирана. Обращаясь к Карлу, папы, по-видимому, не учли некоторых черт его характера, которые отнюдь не позволяли думать, что он согласится быть простым орудием в их руках. Это был выдержанный, энергичный, временами суровый до жестокости правитель, не лишенный вместе с тем некоторой веселости, любви к турнирам и влечения к поэзии, искусству и науке и не желавший сделаться игрушкой пригласившего его в Италию папства.
Явившись с войском в Италию, Карл разбил Манфреда при Беневенте (1266 год). Манфред погиб, после чего Сицилия и Неаполь перешли во французское владение. Новым королем Обеих Сицилий стал Карл Анжуйский. Французы толпами стали покидать свою родину и тысячами переселяться в новые владения Карла, где в целом условия для жизни были прекрасны.
Вскоре после этого ясно проявилось отношение Карла к Византии. Он с согласия и в присутствии папы заключил в Витербо, небольшом итальянском городке к северу от Рима, с изгнанным латинским императором Балдуином II договор, по которому последний передал Карлу право на верховную власть над всеми франкскими владениями в прежней Латинской империи, выговорив себе лишь Константинополь и несколько островов в Архипелаге; отвоевать эти острова у ромеев и должен был помочь ему Карл. Таким образом, при французском владычестве в Королевстве Обеих Сицилий снова ожили в полной мере норманнские притязания на Византию.