На самом деле «возлюбленный сын» все чаще разочаровывал папу, между ними создались очень натянутые отношения. Папе не нравилась излишняя самостоятельность нового короля, он упрекал его в жестокости и скупости к итальянцам; его чрезвычайно раздражали методы налогообложения, используемые Карлом. Тот оказался заносчивым, своенравным и неблагодарным. В одном из своих горьких писем папа писал, что Карл не позволял себя
Климент IV надеялся восстановить владычество Св. Престола в Риме, поскольку Карл обязался оказать ему в этом содействие. Между тем римляне вовсе не были намерены пригласить папу вернуться. Еще в апреле он переехал из Перуджи в Орвието, а оттуда, в надежде поселиться в Латеране, отправился в Витербо, где и остался жить. Но Карл не стремился защищать права и интересы папы. Климент IV отомстил знаменитым письмом, распространенным по всем христианским странам, в котором под видом отеческого увещевания и благожелательных советов мастерски изобразил его в образе ненавистного тирана.
Эта маленькая месть не могла изменить плачевного состояния финансов понтифика. Климент IV писал французскому королю:
Та самая империя, о которой совсем недавно говорили с такой злобой и высокомерием, представлялась папе спасительным учреждением, и он усердно старался о прекращении междуцарствия. Тем не менее этот период Великого бескоролевья в Германии (1256–1263) Климент старался использовать для возрождения принципов церковной теократии.
Король Карл все еще был нужен папе. В Тоскане победили гибеллины, и Карл бросил войска на Флоренцию. Ему покорились гибеллинские Лукка и Пистойя, он совершил торжественный въезд во Флоренцию. Продолжали противостояние только Пиза и Сиена, и папа настоятельно просил Карла ограничить свое правление в Тоскане тремя годами и снять осаду с сопротивляющихся ему крепостей.
В Константинополе императора Михаила VIII Палеолога весьма тревожило усиление Карла Анжуйского, чьи планы захватить Византию, пользуясь некими неясными династическими правами, не являлись для него секретом. Агенты Михаила прилагали массу усилий, чтобы возродить партию гибеллинов в Генуе и генуэзских колониях, но безуспешно. При папе Урбане IV отношение к греческой империи несколько потеплело, но Климент не видел никаких причин иметь дело с императором-схизматиком. Тем не менее, опасаясь растущего влияния Карла Анжуйского, он не стал окончательно отвергать авансы Михаила. Папа был чрезвычайно доволен, когда патриарх Константинопольский обратился к нему с дружеским и уважительным письмом, а император Михаил, чтобы продемонстрировать свою искренность, предложил свое участие в следующем крестовом походе против язычников. Но прежде чем начать какие-либо переговоры, Климент требовал, чтобы Греческая церковь безоговорочно признала его власть. Это условие было весьма коварным: прими император его предложение, он лишился бы короны.
Новая беда, согласно известному изречению, нагрянула все-таки с севера.
Внуку Фридриха II, Конрадину, исполнилось пятнадцать лет. Он вырос в Германии под присмотром матери, Елизаветы Баварской, в то время как ее братья блюли его политические интересы. Власть юного Гогенштауфена признавала Швабия, а бароны Святой земли провозгласили его иерусалимским королем. Итальянские гибеллины тоже не забыли о Конрадине.
Конрадин был умным, не по годам развитым мальчиком, красивым и обаятельным, прекрасно осознающим свое происхождение. Он рвался возвратить наследство Гогенштауфенов в Италии и объявил себя королем обеих Сицилии. В ответ папа запретил кому бы то ни было признавать его.