Несмотря на близость родительского дома, зима, проведенная в одиночестве, выдалась очень тяжелой. Но понемногу к преподобному собрались иноки, все вместе поставили кельи, церковь. Родители и сродники помогали обители деньгами и продуктами. Однако отношения с братией у преподобного складывались непросто. Возлагая на себя тяжелые труды и подвиги, он требовал такой же крепости от других. Многие не выдерживали и уходили. Но самое тяжелое искушение постигло его там, где он меньше всего ожидал. А дело было так. В монастырь к Александру часто приходили его племянники: Никон — сын старшего брата Амвросия и Петр — сын брата Лукиана. Преподобный постриг их в монашество, Никон стал Никифором, его Александр поставил келарем, а Петр стал пономарем Порфирием. Постриг сыновей стал неожиданностью для Амвросия и Лукиана. Они были людьми мирского склада и не желали детям монашеской судьбы. Искренне помогая брату, они не ожидали, что он, не спросив разрешения, цострижет их сыновей. Амвросий, видимо, унаследовал крутой нрав своего отца. По словам Жития, был он человеком «мужественным и ярым». Схватив топор, он сказал Лукиану: «Пойдем в монастырь, разобьем замки, изрубим двери и заберем своих детей». Задыхаясь от бессильной ярости, он всячески ругал преподобного: «Что еще сделать злодею нашему монаху Александру? Мы относились к нему, как к отцу родному. Он же зло нам сотворил, разлучая нас с нашими детьми и постригая их! Что может быть горше этого, когда родители скорбят о детях своих? Он ведь не хочет пришлых монахов покоить и держать, они не могут терпеть великих трудов его и нужды и прочь уходят, и потому теперь нашими детьми он хочет монастырь свой наполнить!» (
Вскоре умерли родители Александра. Но беда, как известно, не приходит одна. Непонятно почему племянники вдруг возненавидели преподобного и стали сторониться его. Он же, чувствуя эту перемену, чаще навещал их. Иноки всячески перечили святому, говоря: «Мы еще юны и не можем понести таких тяжелых трудов». И однажды они, сговорившись, ушли из монастыря неведомо куда. Святой Александр, понимая, в какую погибель ввергли себя юные иноки, впал в такую скорбь, что перестал есть и вскоре тяжело заболел. Видимо, с ним случился инсульт: он не мог поднять головы, двинуть рукой или ногой, язык тоже не слушался его. Похоже, что впервые преподобного охватило отчаяние. Во время болезни он сподобился чудесного видения преподобного Кирилла Белозерского: святой пообещал исцелить его, но только в том случае, если Александр не оставит монастырь. К изумлению братии, преподобный выздоровел и вернулся на некоторое время к управлению обителью. Однако удар был слишком силен, и святой Александр не смог до конца оправиться от недуга. Он скончался в возрасте 52 лет, поручив обитель своему брату Леонтию. После смерти настоятеля в монастыре началось повальное бегство иноков. Леонтий, будучи мирянином, не являлся достаточным авторитетом для братии. Порядок восстановился только по прошествии восьми лет, когда оставшиеся иноки пригласили к себя священника с верховьев реки Чурьюги — старца Варлаама, а его сына Максима попросили стать игуменом.