Как уже было рассказано выше, в конце XII века германский государь Генрих VI Гогенштауфен, сын Фридриха Барбароссы, благодаря своему браку с норманнской принцессой Констанцией, наследницей норманнского государства в Южной Италии и Сицилии, объединил Королевство Обеих Сицилий под своей властью и вместе с тем унаследовал упорную вражду норманнов к Византии и их завоевательные планы. Единство Королевства Обеих Сицилий с Германией сохранялось до 1250 года, когда умер Фридрих II Гогенштауфен, после смерти которого его побочный сын Манфред сделался королем сицилийским; в Германии же воцарился на короткое время законный сын Фридриха Конрад IV. Под управлением Манфреда, заботившегося не только о материальных, но и о духовных интересах своего государства, Сицилия наслаждалась глубоким миром; двор его был самым блестящим двором того времени; иностранные государи с уважением относились к Манфреду, и бежавший из Константинополя последний латинский император Балдуин II обращался к нему за помощью о возвращении утерянного трона. В отношении Византии Манфред усвоил политику своих предшественников, которая должна была серьезно беспокоить Михаила VIII – особенно с точки зрения возможной латинской реставрации в Константинополе. А тут еще подеста (главный представитель) живших в Константинополе генуэзцев, которые в то время пользовались исключительно благоприятными условиями торговли в Византии, вступил в сношения с Манфредом и предложил план внезапного овладения Константинополем и восстановления в нем латинского господства. Узнав об этом, разгневанный Михаил VIII выслал генуэзцев из столицы и завязал сношения с Венецией, результатом чего был новый договор с республикой св. Марка, восстанавливавший и подтверждавший прежние привилегии венецианцев и обязывавший их совместно с греками выступить против генуэзцев, если те откроют военные действия против империи.
Но каких‐либо реальных действий против Византии Манфред начать не успел, так как стал жертвой папской интриги. Папы, видя, что сила Гогенштауфенов после смерти Фридриха II, непримиримого врага папства, ослабла, решили в лице Манфреда нанести ненавистной династии окончательный удар. Исполнителем папских планов явился Карл Анжуйский, брат французского короля Людовика IX Святого. Но папа, призывая Карла занять Сицилийское королевство, имел в виду не только уничтожение Гогенштауфенов, но и ту помощь, которую Карл мог дать для восстановления Латинской империи на Востоке; по крайней мере, папа выражал надежду, что при помощи Карла «положение империи Романии будет исправлено».
Существует немного крупных исторических фигур, которые бы изображались историками в столь мрачных красках и, может быть, не совсем правильно, как Карл Анжуйский. После ряда работ о нем можно теперь навсегда покончить с легендой, которая делала из него настоящего тирана. Обращаясь к Карлу, папы, по‐видимому, не учли некоторых черт его характера, которые отнюдь не позволяли думать, что он согласится быть простым орудием в их руках. Это был выдержанный, энергичный, временами суровый до жестокости правитель, не лишенный вместе с тем некоторой веселости, любви к турнирам и влечения к поэзии, искусству и науке и не желавший сделаться игрушкой пригласившего его в Италию папства.
Явившись с войском в Италию, Карл разбил Манфреда при Беневенте (1266 год). Манфред погиб, после чего Сицилия и Неаполь перешли во французское владение. Новым королем Обеих Сицилий стал Карл Анжуйский. Французы толпами стали покидать свою родину и тысячами переселяться в новые владения Карла, где в целом условия для жизни были прекрасны.
Вскоре после этого ясно проявилось отношение Карла к Византии. Он с согласия и в присутствии папы заключил в Витербо, небольшом итальянском городке к северу от Рима, с изгнанным латинским императором Балдуином II договор, по которому последний передал Карлу право на верховную власть над всеми франкскими владениями в прежней Латинской империи, выговорив себе лишь Константинополь и несколько островов в Архипелаге; отвоевать эти острова у ромеев и должен был помочь ему Карл. Таким образом, при французском владычестве в Королевстве Обеих Сицилий снова ожили в полной мере норманнские притязания на Византию.