В конце концов удалось достичь соглашения (правда, лишь после того, как Андроник удовлетворил требование Рожера и отдал ему всю византийскую часть Анатолии в феодальное владение), и каталонцы начали готовиться к возвращению в Азию. Однако, прежде чем отправиться в свои новые владения, Рожер решил нанести официальный визит Михаилу IX в Адрианополе. Его беременная жена Мария и ее мать умоляли его не делать этого, но он не обратил внимания на их слова и 23 марта 1305 года уехал в ставку Михаила в сопровождении 300 конников и 1000 солдат пехоты. Он пробыл в Адрианополе неделю; накануне отъезда в Галлиполи он и его офицеры посетили прощальный пир, устроенный Михаилом в его честь. Когда пир подходил к концу, двери распахнулись, и в зал ворвалась группа вооруженных наемников-аланов. У невооруженных каталонцев, которых было гораздо меньше и которые почти наверняка напились, не было никаких шансов. Рожера убили вместе со всеми остальными. Как только весть об этом дошла до Галлиполи, продвижение в Азию прекратилось, а тех, кто уже успел туда дойти, призвали обратно, и полуостров провозгласили испанской территорией. После этого Каталонская дружина прошла по Фракии, верша страшную месть. Михаил IX изо всех сил пытался ее остановить, но его войско было разбито под Райдестом, и сам он едва спасся.
Летом 1308 года каталонцы повернули на запад, к Фессалоникам, разрушили бесчисленное количество городов и деревень и разграбили монастыри на горе Афон, прежде чем спуститься в Фессалию и Беотию, где поступили на службу к Готье VI де Бриенну, французскому герцогу Афин. Однако Готье, как и византийцы, быстро обнаружил, что каталонцев проще нанять, чем уволить. 15 марта 1311 года они уничтожили его и его войско, а потом пошли на Афины, где основали собственное герцогство, которое просуществовало семьдесят семь лет. Менее чем за десятилетие они причинили Византии почти столько же вреда, сколько турки за сто лет, и император еще и заплатил им за это. Если бы они соблюдали условия соглашения, то смогли бы обратить вспять исламскую волну и изменить всю будущую историю Леванта. Вместо этого почти ровно через сто лет после Четвертого крестового похода они нанесли империи, которую пришли спасать, еще один парализующий удар.
Каталонцы были не единственным вызовом, с которым пришлось иметь дело Андронику Палеологу. С запада ему по-прежнему угрожал Феодор Святослав, пока Андроник не уступил ему порты на Черном море, которые тот и так уже занял, вместе с рукой Феодоры – дочери Михаила IX. Сын Карла II Филипп Тарентский захватил Дураццо. С востока наступали турки. В 1304 году династия Айдынидов захватила Эфес; Осман перерезал пути сообщения между Никомедией и Никеей; а в 1308 году караманиды захватили Икониум и окончательно уничтожили давно агонизировавший Сельджукский султанат. В 1309 году остров Родос пал перед рыцарями-госпитальерами. Империя уменьшалась с каждым днем.
В 1310 году Андроник столкнулся с новым врагом – собственной женой Ириной, в девичестве Иоландой Мон-ферратской. Его одиннадцатилетняя невеста превратилась в чрезвычайно честолюбивую женщину, и отношения между супругами давно были напряженными. Кризис случился, когда Ирина предложила, чтобы после смерти мужа империя перешла не к Михаилу IX, а была разделена между четырьмя сыновьями Андроника (трое младших были, разумеется, и ее отпрысками). Император отказался, после чего Ирина с тремя сыновьями уехала в Фессалоники – дом ее детства, который к тому же был ближе к ее дочери, шестнадцатилетней Симониде, находившейся при болгарском дворе. Там она и оставалась в течение следующих семи лет, постоянно плетя интриги против мужа.
В Фессалониках жил и соправитель императора Михаил IX. Ему было около 35 лет, но он сильно разочаровался в жизни, проведя большую ее часть в военных походах и проиграв все крупные битвы. В начале 1311 года он повел войско против огромной шайки турецких грабителей во Фракии; результат, как обычно, оказался катастрофическим. После этого его освободили от военного командования, и он занялся личной жизнью. У него было четверо детей, старший из которых, Андроник, был коронован соправителем в возрасте 19 лет, в феврале 1319 года. Трон отныне делили между собой три императора, и наследование было обеспечено по крайней мере на два поколения вперед. Однако молодой Андроник вскоре стал проявлять признаки опасной неуравновешенности: он пил, играл в азартные игры и был скандально известен любовью к женскому полу. В 1320 году, заподозрив одну из своих любовниц в неверности, он устроил возле ее дома засаду для неизвестного соперника. Действительно ли этим соперником оказался его родной брат Мануил, или он случайно проходил мимо, доподлинно неизвестно, однако на него напали, и он был убит. Это потрясение оказалось слишком сильным для Михаила IX, и 12 октября он умер. Андроник-старший в ярости отрекся от внука и назвал наследником престола своего младшего сына Константина. Результатом этих событий стала гражданская война.