Международная зона Танжер была практически маленьким государством, независимым от остальной части Марокко, здесь царило средневековье и очень многие люди жили в нищете. Но эта старая, размеренная честная колониальная жизнь резко изменилась, как только Марокко стала независимой от Франции, а Танжер потерял самостоятельность. Ресторан стал приходить в упадок. Как-то, покупая наркотики, Брайон познакомился с Джоном и Мэри Кук, состоятельной парочкой хиппи. Семья Кук занималась также сайентологией, и все время марокканской войны Брайон жил полностью за их счет у них дома в Алжире. Потом он вернулся в Танжер и снова открыл ресторан, но дело так и не заладилось. Берроуз писал Аллену: «Брайон Гайсин открыл „Тысячу и одну ночь“, теперь там танцует стайка ребят, на которых смотреть-то можно только с жалостью: личики похожи на мордочки хорьков, узкоплечие, зубы плохие, они скорее похожи на команду по боулингу из Ньюарка». Конец наступил в 1958 г.
Начались юридические проблемы по поводу того, кто руководитель, и Брайон передал права собственности Кукам, он верил, что они вернут ресторан сразу же, как только уладятся проблемы. Но Куки прибрали ресторан к рукам и вышвырнули его прочь. Незадолго до этого за крышкой вентилятора на потолке он нашел спрятанный амулет, пропитанный менструальной кровью: семена, камешки, обрезки ногтей, волосы с лобка, кусочки разбитого зеркала (всех по семь) и маленький сверток, в котором лежал листок бумаги. Текст, написанный справа налево, затем поворачивал и шел сверху вниз, образуя каббалистическую решетку. Брайон показал его своему учителю арабского. Тот сказал, что это призыв джинна дыма с целью «заставить Массу Брахима (Брайона) покинуть этот дом — как дым покидает этот очаг, и никогда не вернуться…»
Однако Брайон много вынес из своих будней ресторатора: его приятель Салах, который, по уверениям приятеля Брайона Фелисити Мейсона, был «когда-то самым симпатичным и черненьким мальчиком побережья», прожил с ним до самой смерти, как и Таргисти, его «джентльмен из джентльменов», и повар, жившие с ним больше 30 лет. Еще он научился изменять магические заклятия заколдованного источника несчастий на позитивные, все работы, написанные после 1958 г., он подписывал решеткой, состоящей из арабской вязи и вертикальной японской каллиграфии. Его работы в новом стиле произвели такое впечатление, что в 1959 г. ему предложили устроить персональную выставку работ в Лондонской галерее Артура Джефреса и обещали заплатить, если он сделает литографию для Музея современного искусства в Нью-Йорке.
После лондонской выставки Брайон отправился в Париж, чтобы принять участие в сборной выставке, где наряду с другими были представлены и работы Матта. После того как он три месяца жил в Париже на деньги богатейшей принцессы Распай в ее городском доме, он решил, что нельзя злоупотреблять гостеприимством, и ухватился за предложение Билла поселиться в Бит Отеле.
Уильям привел его в отель и показал свою крошечную пятнадцатую комнату. Этажом выше в номере 25, где раньше жил Аллен, теперь жил молодой американец, эта комната была немного больше. Американец сказал, что уезжает, но прежде хочет получить деньги за ключ. Вспоминает Брайон: «Не глупи, — сказал я. — В подобных ситуациях так не делают. Он ответил „Ах, да-да, ну что ж, продам его кому-нибудь еще“. В-общем, я отправился домой и принялся колдовать, этому я научился в Марокко, когда интересовался магией. Если вы хотите поселиться где-нибудь, вы совершаете магические приготовления и вводите себя в определенное состояние — чтобы впасть в это состояние, вам нужно много травы и гашиша, — потом вы представляете себе комнату и начинаете расставлять мебель так, как вы бы хотели, чтобы она стояла. Вы делаете это несколько раз, пока комната полностью не изменится, и тогда возвращаетесь обратно и говорите: „Пошел отсюда“, — и он отдает комнату вам. Потому что на самом-то деле вы уже въехали. Ему там уже очень некомфортно».
Комната номер 25 не сильно изменилась с тех пор, как уехал Аллен. Брайон распаковал свои холсты и расставил их так, что они стали закрывать почти все пустое пространство стен, какие-то он повесил, и комната стала похожа на знаменитый коридор Гертруды Стайн и Элис Токлас. Брайон был знаком с Элис и часто ходил к ней в гости на улицу Кристин. Вероятно, она навещала его в Бит Отеле, потому что, несомненно, она видела, над чем он тогда работал. «Ты спрашивал о Брайоне Гайсине, — писала Элис Неду Рорему. — Он здесь и трудится над отличными картинами. Знаешь, мне кажется, что в Париже работают все, кроме рабочих».