За все время своего понтификата Климент V ни разу не был в Италии. Вначале он отложил свою поездку в Рим из-за переговоров с Филиппом Красивым, затем последовала подготовка к Вьеннскому собору 1311–1312 годов. После этого германский король Генрих VII вторгся в Италию. Климент не сопротивлялся, когда Филипп потребовал переноса главной папской резиденции из Рима в город Авиньон, находившийся во владениях неаполитанского короля и в сфере влияния короля французского. (В 1348 году папа Климент VI выкупил Авиньон у королевы Иоанны Неаполитанской.) Переезд состоялся в марте 1309 года, когда во Франции уже два года шел процесс по делу рыцарей Храма. Так начался 70-летний период «Авиньонского (или вавилонского) пленения пап», во время которого глава католической церкви «работал на Францию». Он выполнял различные поручения французского монарха, при королевском дворе находилось немало кардиналов.
Не менее бесцеремонно и более жестоко Филипп Красивый поступил с тамплиерами. В своих целях он мог использовать как фальшивые обвинения, так и негативное отношение к ордену со стороны светских и церковных властей. Данные ордену Папой Римским привилегии, всенародное уважение и экономические успехи имели своим следствием свободомыслие и высокомерие его членов. Папские привилегии обеспечивали тамплиерам независимость от местного духовенства, а также – теоретически – и от светской власти. Подобное положение вещей весьма возмущало, например, еще Гийома Тирского, считавшего, что тамплиеры слишком озабочены воплощением в жизнь собственных корыстных целей и небрежно выполняют предписанные им патриархом Иерусалимским обязанности, не повинуясь его воле, тогда как всем известно, что «смирение – вот истинный хранитель всех добродетелей и самостоятельно восходит на трон, с которого низринуто быть не может». Тамплиеры же отказывали патриарху в том послушании, какое являли их предшественники, и оскорбляли храмы Божьи тем, что отбирали у них законную десятину и первые плоды, попирая тем самым их законные права.
В 1179 году на Третьем Латеранском соборе Гийом Тирский возглавил наступление белого духовенства на военные ордена, и собор постановил: ограничить привилегии, полагавшиеся тамплиерам до той поры.
Тамплиеры часто вызывали раздражение и в народе. Уже в 1160 году папа был вынужден издать буллу, запрещавшую стаскивать тамплиеров с коня, оскорблять их действием или словом, и с тех пор булла эта неоднократно подтверждалась. С 1199 по 1210 год папа Иннокентий III несколько раз требовал не причинять ущерба самим тамплиерам, их слугам и их собственности и осуждал епископов, провоцировавших стычки тамплиеров с их братьями во Христе и даже посадивших кое-кого из членов ордена в тюрьму.
В свое время тамплиеры перестали быть угодны светским властям Иерусалимского королевства. Гийом Тирский насчитывает четыре случая, когда члены братства вступали в конфликт с верховной властью. Так, во время осады Аскалона в 1153 году Великий магистр, по слухам, помешал осаждавшим, кроме нескольких рыцарей-тамплиеров, ворваться в город, как только пали его стены, и это чуть не привело атакующую сторону к поражению. Хронист отстаивает ту точку зрения, что Великий магистр сделал это исключительно из желания обеспечить своему ордену возможность захватить как можно больше добычи при разграблении города. В 1165 году тамплиеры сдали «священную пещеру» на восточном берегу реки Иордан мусульманскому полководцу Ширкуху. Король иерусалимский Амальрих даже повесил около дюжины тамплиеров, ответственных за оборону, хотя члены ордена пользовались церковной и светской неприкосновенностью. Затем, в 1168 году, Великий магистр отказался поддержать третий поход Амальриха против египтян, и тот потерпел поражение. По мнению Гийома Тирского, отказ тамплиеров был вызван тем, что «совершить этот поход подстрекал короля Великий магистр соперничающего ордена (госпитальеров)». И наконец, в 1173 году тамплиеры убили посланника мусульманской секты «ассасинов», прибывшего в Иерусалим для ведения переговоров о союзе с королем Амальрихом. Видимо, они решились на это потому, что король согласился освободить ассасинов от уплаты тамплиерам ежегодной дани. Впрочем, исследователь П. Рид полагает, что тамплиеры напали на ассасинских послов по другой причине. Они попросту не доверяли им, зная их хитрость и вероломство, и сочли, что мусульмане одурачили короля Амальриха.
Так или иначе, король Иерусалима велел арестовать рыцаря, ответственного за это убийство. Гийом Тирский считает, что, если бы Амальрих не умер в 1174 году, он непременно поднял бы перед главами всех христианских государств вопрос о целесообразности неприкосновенности тамплиеров.
Надо сказать, что отношения тамплиеров с мусульманами оценивались современниками крайне неоднозначно.