Его победа не означала наступления мира, который был просто необходим. Конфликт поменял и театр действий, и их уровень. Папство, расположившееся на окраине Французского королевства, в Авиньоне, оправдывало эту ссылку, считавшуюся временной, утверждая, что нужно восстановить порядок на полуострове, прежде чем возвращаться в Рим. Легат Бертран дю Пуже занимался этим уже в течение двух лет с жестокостью, стоившей ему резкой неприязни, когда Людовик Баварский, наконец, почувствовав себя хозяином, заявил свои права на Италию. Его посланники вступили в переговоры с миланцами. Они выступали в качестве наместников Римского короля и незамедлительно столкнулись с представителями папы. Этот конфликт поднимал принципиальный вопрос: папа утверждал, что он является наместником империи в Италии, в то время как императорский трон пустует. Итак, с точки зрения Иоанна XXII трон пустовал, поскольку назначение Людовика Баварского не получило епископского одобрения.
8 октября 1323 г. папа заявил, что «баварцы» узурпировали права, воспользовавшись ими; если бы он не отказался от этих слов через три месяца, его бы отлучили от церкви. Тем временем викариат империи в Италии вернулся к королю Неаполя Роберту Анжуйскому. Этот ультиматум начал ссору, которая продлится около четверти века. Суверенный понтифик был тем более расстроен, потому что Рим не находился больше в Риме. Нужно было заставить христианский мир понять, что эта перемена местопребывания нисколько не затрагивала власти преемника Петра. Иоанн XXII обладал характером, не склонным к компромиссам. Превосходный юрист, он намеревался добиться следования установленным законам вплоть до йоты. Людовик был настроен не менее решительно, чем папа, защищать то, что, по его мнению, представляло честь империи. Не думая уступать, он дал отпор: в период с декабря 1323 по май 1324 г. появилось три «апелляции». Адресованные, прежде всего, папе, они также обращались ко всем тем, кто в Германии, и прежде всего в городах, был способен понять смысл спора. 14 июля 1324 г. Иоанн XXII сместил Людовика Баварского, предварительно отлучив его от церкви 23 марта.
Людовик Баварский сопротивлялся папе еще сильнее, зная его уязвимость. Авторитарная политика Папского престола создала ему врагов. Централизация власти, осуществляемая все более и более неуклонно, поскольку она оправдывала снятие аннатов, возмущала обычных раздатчиков бенефиций, чьи преимущества она уменьшала, доводя до крайней нищеты налогоплательщиков. Роскошный двор, устройство которого в Авиньоне стоило немалых средств, раздражал христиан, которые серьезно относились к евангельским заповедям. Таковых было большинство в сфере влияния нищенствующих орденов. Часть францисканского ордена, который проповедовал полную бедность, была глубоко возмущена богатством высокопоставленных духовных лиц. Некоторые из этих «духовников» исповедовали йоахизм, который провозглашал наступление новой эры. Осужденные папством, преследуемые внутри своих религиозных орденов, они могли подумать, что являются единственными отверженными. Однако в 1323 г. для них было неожиданностью узнать, что большинство их братьев во главе с магистром ордена поддерживают их в противостоянии папе, который только что осудил принцип, разделяемый большей частью францисканцев, — личную бедность Христа. Обнародовав это, Иоанн XXII нажил себе противников во всем христианском мире, в том числе талантливых теологов, как, например, Уильям Оккам. Людовик понял, что у него в руках довольно опасное оружие, которое может серьезно ранить папу. Он встретился с изгнанными францисканцами. К ним присоединился Марсилий Падуйский, чье главное произведение