Завоевание Робертом Гискаром византийской провинции на юге Италии и соседних лангобардских княжеств вызвало тем временем сильный гнев византийского императора. Отношения между папством и Греческой православной церковью неуклонно ухудшались в XI веке, поскольку папы стали подчеркивать свою власть над всем христианством, а победы норманнов грозили отторгнуть южную Италию от греческой церковной верности. Хотя "Восточный раскол" 1054 года часто рассматривается как решающий момент в разрыве между католическим Западом и православным Востоком, события того года были еще одним моментом в длинном каталоге ссор: папский легат Гумберт из Сильва Кандида обрушил на главный алтарь Святой Софии в Константинополе буллу об отлучении, направленную против Константинопольского патриарха и его господина, императора. Византийцы умело балансировали между латинским и греческим языками в прибрежных городах Апулии, где латинские епископы зачастую охотнее признавали власть Константинополя, по крайней мере в политических вопросах, чем власть западных правителей, включая папу. Приход норманнов настроил латинян против латинян, а греков против греков; в результате норманнского завоевания носка Италии, Калабрии, а затем и Сицилии многие тысячи греков оказались под властью брата Роберта - Роджера. После падения Бари в 1071 году вражда норманнов только усилилась, поскольку Роберт планировал вторжение на византийские территории, обращенные к Италии через Адриатику. Он рассматривал Диррахион и Ионические острова как ворота, через которые он мог бы проникнуть глубоко на византийскую территорию с помощью своего сына, белокурого великана Боэмонда. Поводом для похода против Византии Роберту послужило то, что он действовал от имени свергнутого и изгнанного императора Михаила Дукаса; он принял в свою свиту беглого монаха, которого объявил Михаилом. Он выставил этого монаха в императорском одеянии перед стенами Диррахиона, после чего (историк Анна Комнене настаивает) "Михаил" был немедленно и шумно осужден как самозванец горожанами, выстроившимися вдоль крепостных стен. Можно было бы ожидать, что Анна скажет это, поскольку она была дочерью царствующего императора Алексия Комнина, основателя энергичной династии, чьи военные и политические успехи привели к большому оживлению в судьбе Византии. Анна подозревала, и с этим трудно не согласиться, что Роберт стремился к константинопольскому трону. Нападение на Албанию было лишь первым этапом войны, которую он намеревался провести по Виа Эгнатия в самое сердце Византии.
В 1081-2 годах Роберт построил флот из кораблей, способных нести массивные осадные башни, покрытые шкурами животных, намереваясь начать морское нападение на Диррахион, в то время как Боэмонд должен был продвигаться по суше, высадившись в Валоне дальше по побережью. Было лето, и моря должны были оставаться спокойными, но Анна Комнина сообщила, что Бог проявил благосклонность к византийцам, послав сильную бурю, которая рассеяла и уничтожила флот Роберта. Когда тучи рассеялись, башни, построенные на кораблях, отяжелели от намокших шкур и рухнули на палубу. Корабли были затоплены, а Роберту и нескольким его людям посчастливилось выжить, выбросившись на берег. Даже перед лицом таких испытаний упрямый Роберт Гискар не счел это божественной карой, а был полон решимости возобновить атаку.31 Роберт собрал оставшиеся силы и осадил Диррахион, выдвинув вперед еще несколько массивных осадных башен, которые возвышались над стенами. Эти стены были построены так прочно, что, по словам византийских писателей, две колесницы могли проехать друг по другу - образ, который больше обязан Гомеру, чем реалиям войны XI века, из которой колесницы уже давно исчезли. Диррахион можно было завоевать только вероломством и обманом. В конце концов амальфитанский купец открыл ворота города перед захватчиками.32