Юго-западный склон Канченджанги очень крут и состоит из непрерывно следующих друг за другом гранитных обрывов с покрытыми снегом уступами, поднявшись по которым можно попасть на горный хребет, который, в свою очередь, ведёт к третьей по высоте вершине из пяти пиков Канченджанги. Именно эту уступчатую часть Кроули разглядел из Дарджилинга, что и заставило его недооценить сложность восхождения. Однако и от горного хребта до самой высокой вершины ещё очень далеко. Кроме того, ведущий к хребту уступчатый склон невероятно опасен, поскольку располагается с юго-западной — а значит, более нагреваемой солнцем — стороны горы, что является причиной частых камнепадов, а также снежных и ледяных обвалов. Кроули, рвавшийся вперёд, или неверно оценил особенности горы, или сознательно проигнорировал очевидные трудности восхождения.
Особенности горы были не единственной проблемой. Оказались ненадёжными носильщики. Часть из них дезертировала, и утверждение Кроули о том, что он «в своих странствиях никогда не имел трудностей с местными жителями, слугами, собаками и женщинами», вскоре было опровергнуто. Хотя Кроули и заявлял, что относится к местным жителям с пониманием, на самом деле он всегда ощущал своё превосходство над ними вплоть до того, что порой вёл себя как колонизатор. Это правда, что он не перегружал их работой без надобности и, по его словам, пользовался любовью этих людей, поскольку они знали, что он не допустит никакой несправедливости по отношению к ним. Однако он требовал, чтобы к нему обращал ись Бурра Сахиб, что значит Великий господин. Что же касается понимания, то здесь Кроули проявил полную несостоятельность. Причины бегства носильщиков и других связанных с ними проблем заключались не столько втом, как Кроули с ними обращался, сколько в том, что он игнорировал их культуру и верования. Они боялись не Кроули и не опасностей пути, а бога, который обитал на горе Пяти Снежных Сокровищ, как называлась Канченджанга на местных наречиях. Восхождение на гору вызывало гнев бога, который, как верили местные жители, управляет жизнями всех, кто обитает в окрестностях горы. Первым из всех именно Кроули должен был бы догадаться об этом.
С этого момента экспедиция начала неумолимо разваливаться. За те три дня, в течение которых экспедиция добиралась до места, подходящего для начала восхождения, враждебность, давно нараставшая в отношениях между Кроули и Гийярмо, прорвалась наружу. Гийярмо обвинил Кроули в том, что он не выставляет знаки, чтобы разметить дорогу для носильщиков. Кроули, в свою очередь, обвинил Гийярмо в том, что тот устраивает лагеря не там, где он ему указывает. Вина Кроули в данном случае не вызывает сомнений: он слишком торопился, чтобы как следует размечать дорогу, в результате чего Гийярмо сбивался с пути и разбивал лагерь там, где мог. Гийярмо разозлился на Кроули ещё и за его равнодушие к нуждам носильщиков. Многие из них шли босыми. Кроули утверждал, что они прячут ботинки среди вещей, которые несут, и что они сами предпочли совершать восхождение босиком, но едва ли это правда. Ведь экспедиция шла по льду. Мало того, что носильщикам было холодно, отсутствие обуви на ногах добавляло ещё одну трудность: люди всё время скользили.
Затем Реймон нарушил правила, отклонившись от курса, чтобы найти более лёгкую дорогу для своих носильщиков, но это ему не удалось, и в результате он был вынужден вырубать во льду ступени при помощи альпинистского топорика. Кроули вернулся, чтобы посмотреть, что случилось с Реймоном, и помог вырубать ступени, но был очень недоволен этим случаем неповиновения. Когда несколько носильщиков заболели, кто от кислородного голодания, а кто от снежной слепоты, Кроули отнёсся к этому слишком беззаботно. Со времён восхождения на К2 он был убеждён, что высота не может являться причиной болезни, и все симптомы объяснял усталостью людей. Тех же, кто страдал от снежной слепоты, которая, t по словам Кроули, была просто временной реакцией на яркий свет, лечили неправильно, глазными каплями с атропином. Вдобавок к этим несчастьям де Риги перестал справляться с управлением таким большим отрядом носильщиков. Он утратил авторитет и контроль над ними до такой степени, что Паш вынужден был спуститься к нему и взять часть его обязанностей на себя.
Однажды Гийярмо повёл своих носильщиков в обход вершины ледника, отклонившись от маршрута, назначенного Кроули. С каждым шагом он всё более отчаивался. По мере продвижения вверх, глядя на вершину горы, возвышавшуюся над ним и окутанную туманом, Гийярмо постепенно терял всякую надежду на то, что выбранный ими маршрут приведёт их к вершине, а заодно и доверие к Кроули. Что же касается Кроули, то, с его точки зрения, экспедиция трещала по швам потому, что остальные отказывались ему повиноваться.