Такой путь избрал себе и Марк.
Его одежда, многошвенная и часто ветхая, необыкновенная молчаливость, иногда употребление не во время пищи пред братиею и посторонними, отрывочность и непонятность речи — казались странными окружающим. Осуждения их он принимал благодушно; задумал удалиться из обители, и без ропота ушел в дремучий лес, окружающий Саров. Так исполнял он мудрое слово преп. Ефрема Сирина: "Кто хочет быть монахом и не переносит оскорбления, уничижения и ущерба, тому монахом не бывать".
В лесу о. Марк не имел постоянного пристанища. То он ютился в подземельных пещерах, оставленных зверями, то в шалашах, которые сам устраивал из хвороста. Иногда же постелью служила ему голая земля, а крышею — небо. Так жил он довольно долгое время. Наконец, братья, видя чрезвычайное терпение его в этой отреченной жизни, поняла, что его юродство есть дело великой благодати Божией и стала питать к нему большое уважение. Особенно возросло это уважение с тех пор, как за о. Марком стали замечать некоторую прозорливость. Часто его отрывочные слова, с виду ничего не значившие, касались внутреннего содержания говоривших с ним лиц. Другие же его слова, казавшиеся ни с чем несообразными, оправдывались впоследствии точными событиями. Но и, освободясь от насмешек братии, о. Марк не остался в монастыре. Хотя ему там отвели келлию, он, увлекаемый жаждою пустынной и безмолвной жизни, удалился, по благословению строителя Пахомия, на совершенное безмолвие в лес, принадлежавший пустыни.
Придя в лес с тем, чтоб всегда остаться там, он сперва, как и прежде, не имел постоянного жилища, и укрывался то в пещерах, то в шалашах, то в маленьких келлейках, которые едва защищали от холода и которые он сам себе устраивал в лесу в разных местах. Впоследствии для него была устроена деревянная теплая келлия в одной версте от обители. Здесь он принимал приходившую к нему братию и посторонних посетителей, искавших его наставлений.
Но теплая келлия была единственным послаблением, какое позволил себе подвижник. Сюда укрывался он только, чтоб согреться и принять пищу, а все почти время проводил или на открытом воздухе, или в прежних убежищах своих.
Летом и зимою одеждою ему служили многошвенные ветхие рубища, во исполнение слов преп. Исаака Сирина: "Возлюби убожеские ризы в одеянии твоем, дабы уничижить возникающие в тебе помышления. Ибо, любящий блеск не может стяжать смиренного помышления, потому что сердце внутри принимает образ, подобный внешним образам". Он носил на теле тяжелые вериги; никогда не разбирал кушанья, вкусно ли оно или не вкусно, свежо или гнило. Не дозволяя никому служить себе, он до глубокой старости сам ходил за пищей в обитель, сам ходил и за водой, хотя многие желали бы служить ему.
В таких подвигах провел он последние двадцать лет своей жизни. Нестяжательность его была так велика, что у него не было ничего, кроме ветхого рубища, вериг, рогожины, тыквенного кувшина для воды и пищи и немногих инструментов для ручной работы. Кроме восковых свеч, он ни от кого ничего не принимал. Он говорил: "У меня нужное все есть, а лишнее никогда не полезно".
Кто-то спросил его: "Батюшка, как ты не имеешь в келлии своей даже самого нужного?" Он отвечал на это: "Я тридцать лет так веду себя, следуя словам Христа: "Иже не отречется всего своего имения, не может быти Мой ученик". Не в чем ином богатство монаха, как говорит о том преп. Ефрем Сирин, как в утешении, сотворшемся от плача".
Некоторые просили его принять от них денег для раздачи нуждающимся. Он отвечал: "Это не мое призвание, а дело мирян. Отшельники должны быть свободны от мысли о внешних вещах и хранить свой ум в молитве". Молчание его простиралось до того, что из братии он беседовал не более как с пятью человеками, с прочими же не говорил.
Если кто посещал его, он выходил тогда из келлии, имея на груди образ Богоматери с Предвечным Младенцем, который и давал целовать посетителям.
Советов, наставлений никому не давал. Он следовал тут словам Исаака Сирина: "Пусть лучше признают тебя невеждою по малому твоему сведению в том, как вести споры, нежели мудрым по бесстыдству. Учащих противному обличай силою добродетелей твоих, а не убедительностью слов. Кротостью и тихостью уст своих заграждай уста и заставляй молчать бесстыдство непокоряющихся истине. Невоздержных обличай благородством твоего жития".
Любимою его молитвою была молитва преп. Иоанникия Великого: "Упование мое — Отец, прибежище мое — Сын, покров мой — Дух Святый; Троице Святая, слава Тебе!" Эту молитву творил он постоянно, ощущая от нее великую радость.
В ночное время он большею частью ходил по лесу и говорил, что ощущает сердечную сладость, когда вся природа безмолвствует, а наша молитва так легко возносится к Богу. В это время он любил, ходя, петь стих: "Воскресение Христово видевше".
Рукоделие о. Марка состояло в изготовлении серных спичек, которые он пучками раздавал посетителям. Летом он занимался возделыванием грядок, на которых сажал картофель и другие овощи. Этим он и питался в пустыне.