Лидеры итальянских тайных обществ были уже арестованы. Масоны-гроссмейстеры, лидеры культов или нехристианских организаций и сицилийские мафиози были высланы из страны или содержались под домашним арестом на острове Липари, расположенном неподалёку от берегов Сицилии. В отношении Кроули фашистские власти, подчинённые Муссолини, могли принять только одну меру. Его можно было депортировать.
Двадцать третьего апреля 1923 года Кроули вызвали в местный полицейский комиссариат, где вручили письменный приказ покинуть страну. Он и его последователи должны были незамедлительно уехать из Италии. Кроули спросил, действительно ли приказ относится ко всем жителям Аббатства или только к нему одному. Ему ответили, что приказ действителен для всех. Однако когда Кроули прочитал приказ, он увидел, что там упоминается только его имя, и обратил внимание комиссара на это обстоятельство. Пусть нехотя, но полицейский согласился, что уехать должен только Кроули. На подготовку к отъезду ему дали неделю.
Через семь дней, 30 апреля, Кроули выехал из Чефалу в Палермо. На следующий день он сел на корабль, шедший в Тунис, и прибыл туда 2 мая. Он был не один. Лия, озабоченная его здоровьем, поехала вместе с ним. Пресса торжествовала. Газета John Bull выражала удовлетворение по поводу изгнания Кроули из Италии и заявляла, что в Британии его тоже никто не ждёт.
Много лет спустя Кроули утверждал, что его высылка из страны была спровоцирована местными католическими священниками, несмотря на то что многие из местных жителей подписали прошение против изгнания Кроули. Подписи собирала Нинетт. Однако маловероятно, что священники сыграли какую-либо роль в изгнании Кроули из страны. Аббатство не представляло для них никакой угрозы, поскольку Кроули никогда не соблазнял местных сицилийских девушек и ничего им не внушал, а также никогда не выступал против местных церковных властей и не критиковал их. У Муссолини же было достаточно причин для изгнания Кроули без всякого давления со стороны церкви. А что касается местных жителей, им не очень-то хотелось, чтобы Кроули уезжал: он был темой местных сплетен и интересов, хотя здешние жители избегали появляться поблизости от виллы. Поговаривали также, что те, кто проходил мимо виллы, нередко преклоняли колени при звуке доносившихся оттуда заклинаний. Толки о том, что происходит в Аббатстве, можно было слышать на всём пути от Чефалу до Палермо. Клиффорд Бэкс слышал от побывавшего на Сицилии приятеля-художника, что когда он ожидал поезда на вокзале в Палермо и спросил у своего знакомого, правда ли, будто Кроули проводит обряды с четырьмя обнажёнными девушками, лежащими в направлении четырёх сторон света согласно компасу, нарисованному на полу, знакомый подозвал станционного носильщика, который уверенно и громко подтвердил, что это чистая правда.
После отъезда Кроули некоторые из его последователей остались на вилле, но в конце концов владелец дома потребовал освободить помещение. Затем он нанял рабочих, которые навели в доме порядок, забетонировали пол и закрасили настенные росписи. Среди местных жителей об этом месте продолжали ходить легенды, всё более усложнявшиеся и запутывавшиеся с каждой новой историей. В 1955 году режиссёр-авангардист Кеннет Энгер приехал в Чефалу вместе с известным американским сексопатологом профессором Альфредом Кинси. Энгер во многих местах смыл побелку, под которой обнаружились настенные росписи, а также поднял бетонный настил, скрывавший магический круг, в центре которого стоял алтарь. Энгер очень хотел восстановить Аббатство Телемы, но организация ОТО и другие последователи Кроули не проявили по поводу этой идеи никакого энтузиазма.
В наши дни эта вилла, венец честолюбивых устремлений Кроули, практически заброшена. Селение Чефалу разрослось, и здание уже не стоит одиноко на склоне горы, но окружено другими строениями, среди которых есть даже стадион. Двери и окна виллы заложены кирпичами. Уже давно существует идея превратить этот дом в музей, посвященный Кроули, но пока к осуществлению её даже не приступали.