От постоянного стояния в церкви и на домашней молитве, у него ноги опухли, открылись раны; он не мог служить, был освобожден от исполнения послушаний и просился в пустыню. Он удалился в свою пустынную келью, 20-го ноября 1794 года, ровно шестнадцать лет после прихода своего в Саров, 35 лет от роду, т. е. "на преполовении" своей жизни.
Его келья находилась в густом сосновом бору, на берегу реки Саровки, на возвышенном холме, в 5–6 верстах от обители. Выстроенная из дерева, она состояла из комнаты с печкой, сеней и крылечка. Вокруг — гряды огорода и забор. Потом он завел у себя и пчельник, приносивший очень хороший мед.
Одежда о. Серафима была самая убогая. На голове он носил поношенную камилавку, на плечах балахон из белого полотна, на руках кожаные рукавицы, на ногах кожаные бахилы (род чулок) и лапти. На белом балахоне висел медный крест, который при прощании надела на него мать, а за плечами, в сумке, он неразлучно носил Евангелие, чтоб всегда читать его и в напоминание о ношении ига Христова. Летом и зимой одежда у него была та же. Его время проходило в телесных трудах, чтении книг и молитвах.
В холодную пору он собирал дрова для отопления своей келлии, а летом возделывал гряды на своем огороде. Для удобрения его, он в жары ходил на болотистые места и приносил оттуда мху. Насекомые нестерпимо кусали его, высасывая кровь, а он радовался, потому что, как говорил он впоследствии, "страсти истребляются страданием и скорбию — или произвольною, или посылаемою Промыслом".
Работая, он приходил в светлое, радостное настроение, которое изливал пением священных песен. И посреди этой трудовой молитвы он погружался иногда в столь глубокое созерцание духовных тайн, что орудия падали на землю, руки опускались, во взгляде его, устремленном в себя, выражалось что-то чудесное, и, если кто проходил мимо, с благоговением смотрел на него и не смел нарушить его созерцаний.
Во время молитвы он достигал высшей радости, доступной человеку.
Пища о. Серафима состояла из сухого и черствого хлеба, который он брал с собою из монастыря по воскресеньям на целую неделю. Есть сказание, что из этого количества он уделял еще зверям и птицам, которые любили собираться к нему. Но потом он отказался и от хлеба насущного, довольствуясь овощами огорода; и исполнились над ним слова ап. Павла — он питал себя, добывая себе сам пропитание. Всю первую неделю Великого поста он ничего не вкушал. Наконец, он дошел до того, что в продолжение почти трех лет питался травою сниткою, которую варил в горшечке, а на зиму засушивал ее себе на запас.
Накануне праздников и воскресных дней о. Серафим приходил в обитель, выстаивал вечерние службы и приобщался за раннею литургиею в дорогой ему церкви преп. Зосимы и Савватия; до вечерни в келлии принимал нуждавшихся в его совете из монастырской братии, а затем, взяв хлеба, удалялся в пустынь. Только всю первую неделю Великого поста он оставался в обители.
Молва стала распространяться о пустынном старике, и многие приходили к нему в его пустынную келью.
Но в эти годы о. Серафим всячески избегал посетителей. Особенно же он сторонился некоторых, видя в них одно любопытство. Действительно же нуждающимся духовно из иноков не отказывал. Иногда соседние пустынники, Александр и Марк, находили о. Серафима до того погруженным в богомыслие, что он не замечал их присутствия; прождав с час, они уходили. Если же старец встречал кого в лесу, то смиренно кланялся и отходил, ибо как он говаривал впоследствии: "от молчания никто никогда не раскаивался".
На людей, видевших старца в первый раз, эти неожиданные встречи производили неизгладимые на всю жизнь впечатления; уже один внешний образ его поучал, говоря о чем-то возвышеннейшем и духовном… Существует большая картина: о. Серафим в полуклобуке, полумантии, с сумкою на плече, с четками в руках, опираясь на сучковатую палку и пригнувшись к земле, как ходил он после ран, совершает свой переход по лесу. Трудно оторваться от этого чудного лика саровского пустынножителя. Какие же чувства испытывали те, кто видели его живым, ощущая действовавшую в нем благодать?
О. Серафим, достигнув высоты мирного духа, и диким зверям внушал благоговение. Несколько раз посещавшие его в дальней пустыни видели близ него громадного медведя, которого он кормил. По его слову, медведь уходил в лес — и потом приходил снова и старец кормил его, и давал иногда кормить его посетителям. Лицо у старца было тогда светлое, как у ангела, и радостное. Но он запрещал говорить о том до его смерти.
Видя такую великую жизнь подвижника, исконный враг нашего спасения яростно вооружился против него, насылая на него тяжкие искушения.
Иногда ему видимо представлялось, что келлия рушится на четыре стороны, и что к нему рвутся страшные звери с диким ревом.