Взаимоотношения между тамплиерами и жадным Филиппом поначалу складывались довольно мирно: в 1292 году стороны обменялись письмами, и король подтвердил «привилегии» ордена. Первый намек на усложнение ситуации относится к 1296 году, когда король приказал собрать с города в свою пользу сто тысяч ливров. Приказ, согласно обычаю, до сведения горожан довел префект Парижа, который был обязан собрать сумму налогов вне зависимости от того, справедлива она или нет. Рыцари отказались платить и после двухлетних препирательств в парламенте (существовавшем лишь с 1250 года и подчиненном королю) выиграли дело.
В узком кругу король выказал свою ярость, но на публике держал лицо. Однако финансовый «гений» монарха вновь и вновь ставил столицу на грань банкротства. В 1305 году укрывшемуся в Большой башне Тампля от бунта королю надоело ждать. До того он частенько пользовался гостеприимством великого магистра Храма Жака де Молэ, и тот поведал Филиппу о сокровищах, которые его люди привезли из Иерусалима и с Кипра и хранили под башней. Филипп поклялся завладеть богатствами рыцарей.
Филипп привлек на свою сторону слабого и безвольного папу-француза Климента и сумел обратить гнев парижской толпы против рыцарей, распространив слухи, что рыцари отреклись от Христа, плевали на распятие, приносили человеческие жертвы, предавались оргиям, были содомитами, практиковали суфизм, поклонялись демону по имени Бафомет и имели тесные сношения с Хассаном ас-Сабахом — главой клана ассасинов (одурманенных гашишем наемных убийц, жертвовавших собой без малейшего колебания и с невероятной жестокостью бившихся против захватчиков-христиан). По городу ходили слухи, что тамплиеры устроили «в пещере, вырытой под землей, темное святилище, где хранили идола в форме человека, покрытого человеческой кожей и с карбункулами вместо глаз».
Демон Бафомет — возможно, искажение имени Магомета — послужил нарастанию исламофобии в христианском Париже. Обвинения в гомосексуализме также имели ориенталистские корни: христиане считали, что подобная любовь «не христианская». В потоке пропаганды встречались и крупицы правды. Конечно, рыцари в силу своей деятельности имели тесные сношения с сектами мусульман и не чуждались знакомства с герметическим учением. Они вполне могли читать герметические тексты Наг Хаммади, якобы боговдохновенные и утверждавшие, что Христос «не тот, кто был распят». Если конкретнее, то рыцари в силу закрытости ордена вполне могли практиковать собственные ритуалы и службы, что было чрезвычайно рискованно для добропорядочной паствы христианской церкви.
Тамплиеры считали ниже своего достоинства оправдываться или опровергать обвинения и потому были вынуждены встретиться с инквизицией, отточившей искусство пытки на службе двум жестоким королям. За один только процесс было сожжено более ста рыцарей, каждый из которых гневно опровергал выдвинутые обвинения.
Осведомленный об истинных мотивах королевской ненависти к рыцарям, папа лишь 13 апреля 1313 года решился выпустить буллу об отлучении тамплиеров от церкви, решение предательское и трусливое, принятое под давлением момента. В ответ на решение папы Жак де Молэ и его соратники отказались от данных ранее показаний, но все равно были приговорены к сожжению. На маленьком острове в центре Парижа — Острове евреев (ныне Иль дю Сквер дю Верт-Галант), поднимаясь к столбу на вершине сложенного костра, де Молэ выкрикнул проклятие королю и папе, и предсказал, что они не доживут до конца года. Папа умер месяц спустя от неизвестной болезни, а Филипп через несколько месяцев погиб от несчастного случая во время верховой прогулки.
Оставленная рыцарями, окруженная растущим городом крепость — Тампль — простояла еще два века. Главную башню отводили то под содержание заключенных, то под размещение стражников, но большую часть времени использовали по прямому назначению — здесь возносили молитвы и продавали товары, поскольку усердно возделанные земли Ле Марэ (болото) продолжали расцветать. В XVI и XVII столетиях Тампль служил домом трем категориям французов — аристократам, ремесленникам и должникам, пользовавшимся привилегиями здешних земель, которые стараниями тамплиеров были освобождены от налогообложения еще в XIII веке. Тампль обрел известность и как приют разложения и разврата, где христианская мораль не почиталась: сексуальные оргии, безудержное обжорство и буйные попойки были здесь обычным делом.
Столетие спустя, в 1712 году, философ и гурман, поклонник Рабле и искусный соблазнитель представителей обоих полов Филипп де Вандом назвал Тампль штаб-квартирой «духовного эпикурейства», сделав это место вдвойне достойным осуждения со стороны тех, кто подозревал обитателей Тампля в злонамеренных кознях против Парижа. Выражение «пить, как тамплиер» было очень распространено.