«Видевше себе беси поругани бываемы от блаженнаго Арсения и изгоними от места того святого, воздвигоша брань на него и многа искушения и досаждения святый претерпе от них», — говорит описатель его жития. Не возмогши победить подвижника сами, невидимые враги насылали на него видимых в лице окрестных жителей, возбуждая в них зависть и гнев против святого. Крестьяне, ходившие сюда то для рубки леса, то для звериной и рыбной ловли, сочли себе помехой уединенную келию пустынника, опасаясь, чтобы со временем она не разрослась в монастырское общежитие и не овладела окрестными землями. Чтобы изгнать его из пустыни и удержать за собой землю, они стали наносить преподобному различные обиды и притеснения. Смиренный старец противопоставлял им сначала христианское терпение и кротость, стараясь победить их злобу своей любовью; потом, когда притеснения сделались слишком часты и невыносимы, так что однажды злые люди, пришедши в келлию и не заставши в ней самого Арсения, убили жившего с ним келейного его старца, тогда он, по слову Апостола, дал место гневу (см.: Рим. 12, 19) и, оставивши Комельскую пустыню, удалился оттуда верст за тридцать в дикий Шилегонский лес, на речку Шингор. Полное уединение этого места вполне соответствовало сердечному влечению святого Арсения служить Господу в безвестной пустыни. И, прилагая труды к трудам и подвиги к подвигам, блаженный подвижник, как огнем, горел любовью к Богу, вперив к небу ум свой. Но сколько ни нравилась ему эта уединенная жизнь и как он ни рад был своему безмолвию, оно скоро должно было прекратиться.
Господь, не желая более оставлять светильника Своего как бы под спудом, восхотел, чтобы это духовное сокровище обогатило и других и чтобы подвиги его послужили примером и назиданием для многих. Крестьянин Алексей Охотин один раз пришел в Шилегонский лес с собаками ловить зверей, и собаки отбежали от него, и он, отыскивая их, нечаянно набрел на келлию отшельника. Старец принял его с отеческой любовью и стал спрашивать у него, как он нашел его келлию, так как преподобный до него не видел в лесу ни одного человека и не знал, далеко ли находятся селения. Когда охотник рассказал ему подробно обо всем, то преподобный, видя в нем человека простого и доброго, долго беседовал с ним, поучая страху Божию, и, отпуская, он велел ему искать собак по речке Шингоре на мысу Кривике и при этом сказал: «Там найдешь их с большой добычей». Удивился охотник прозорливости старца, когда в самом деле нашел своих собак с добычей именно на том месте, где сказал ему преподобный. Добычей, пойманной собаками, была дорогой цены лисица, с которой охотник тотчас же возвратился к келлии старца и просил его принять ее в дар, но старец отказался от подарка и посоветовал жертвователю употребить цену ее на милостыню. Через этого охотника келлия Арсения сделалась известной и один за другим стали приходить к нему из окрестности для духовных бесед монахи и миряне. Старец всех принимал с отеческой любовью, поучал всем сердцем любить Господа, пролившего за нас Кровь Свою на Кресте, и ближних как самих себя. Когда некоторые из посетителей, желая постоянно иметь его своим наставником и руководителем в духовной жизни, стали принимать от него пострижение и селиться близ его келлии, преподобный Арсений водрузил крест и построил часовню для общей молитвы. Таким образом в дремучем Шилегонском лесу составилось братство любителей безмолвия и основалась пустыня, известная впоследствии под названием Александро-Коровиной (позднее Троицкая пустынская церковь).
Уже около семи лет преподобный Арсений подвизался в Шилегонском лесу, довольный его безмолвием, как в 1538 году казанские татары неожиданно вторглись в Вологодские пределы, сжигая селения, а беззащитных жителей грабя, убивая и уводя некоторых с собою в неволю. Ужас распространился в стране, и жители, чтобы спастись от смерти, толпами бежали из селений в Шилегонский лес, где находилась пустыня преподобного, думая найти себе защиту в неприступности места, удаленного от дорог. Варвары хотели было проникнуть и туда вслед за бежавшими жителями, но были удержаны Промыслом по молитвам человека Божия, так что все те, которые искали себе убежища в его пустыни, остались невредимы. После ухода татар многие из жителей не захотели более возвратиться на пепелища своих жилищ и поселились со своими семействами близ келлии отшельников, вследствие чего любимое преподобным безмолвие было нарушено близостью мирского шумного селения. Тогда Арсению пришла мысль опять идти в Комельский лес на прежнее свое место, и когда он объявил о своем намерении жившим с ним пустынникам, то один из учеников его, инок Герасим, не захотевший разлучаться со своим наставником, пожелал отправиться с ним.