В 1807 году скончался второй, со времени поступления отца Серафима, настоятель Саровский — праведный игумен Исаия, который весьма чтил отца Серафима и которому отец Серафим платил искренней любовью. Когда отец Исаия был здоров, он сам ходил в пустынь к отцу Серафиму. Когда он сложил с себя должность, отец Серафим был избран братиею в настоятели, но отказался, и был избран в настоятели казначей Нифонт. Больной старец не мог лишить себя утешения в беседе с отцом Серафимом, и братия возила бывшего своего настоятеля в тележке в пустыню к отцу Серафиму. Кончина отца Исаии тяжело отразилась на отце Серафиме. Три любимых им старца, из которых двое, Иосиф и Пахомий, руководили первыми его иноческими шагами, лежали в могилах. Он сам прожил уже почти полвека. И новое поколение иноков не могло дать его привязчивой душе то, что давало ему общение с этими тремя глубокодуховными, а для него незаменимыми, коренными людьми. Как ни ограничивал он людских отношений, уход этих людей болезненно на нем отразился. Никогда не проходил он мимо кладбища монастырского без того, чтоб не помолиться на их могилах. Начальнице Ардатовской общины он как-то сказал: «Когда идешь ко мне, зайди на могилки, положи три поклона, прося у Бога, чтоб Он упокоил души рабов Своих Исаии, Пахомия, Иосифа, и потом припади ко гробу, говоря про себя: «Простите, отцы святии, и помолитесь обо мне!»
Стремясь все далее, все более очищая душу, а быть может, чтоб подвигом смирить печаль души, отец Серафим приступил к новому деланию — молчальничеству. Он более не выходил, если кто посещал его. Встречаясь с кем в лесу, падал лицом к земле, и не вставал, пока не уходили от него, перестал даже ходить в монастырь по праздникам. Раз в неделю, по праздникам, старцу приносил послушник из Сарова пищу. Зимой приходилось идти к нему по глубокому снегу. Дойдя до келии, послушник стучал, говоря вслух молитву Иисусову, и старец, ответив «аминь», отворял дверь сеней, где был приготовлен лоточек. Сам он стоял в это время со сложенными руками, смотря в землю и не подымая глаз на пришедшего. Послушник складывал принесенное на лоточек, а отец Серафим клал туда же кусочек хлеба или капусты, означая тем, что нужно принести на следующий раз. Затем послушник уходил, не слыхав и голоса старца. Таково было внешнее выражение молчальничества. Значение же и сущность его состояли в отречении от всяких житейских попечений для совершеннейшего служения Богу.
Отец Серафим пояснял: «Паче всего должно украшать себя молчанием, ибо святой Амвросий Медиоланский говорил, что молчанием многих видел спасающихся, многоглаголанием же ни единого. И паки некто из старцев говорит: молчание есть таинство будущего века, словеса же — орудия суть мира сего. Молчание приближает человека к Богу и делает его как бы земным ангелом. Ты только сиди в келии своей во внимании и молчании, и всеми мерами старайся приблизить себя к Господу. А Господь готов сделать тебя из человека ангелом: “На кого бо, говорит он (Ис., 66, 2) воззрю, токмо на кроткого и молчаливого и трепещущего словес Моих”. Плодом молчания, кроме других духовных приобретений, бывает мир души. Молчание учит безмолвию и постоянной молитве. Наконец, приобретшего сие ожидает мирное состояние. Когда старца спросили, зачем он, наложив на себя молчание, лишает братию той духовной пользы, какую он мог бы принести ей своими беседами, он отвечал: “Святой Григорий Богослов рек: прекрасно богословствовать для Бога. Но лучше сего, если человек себя очищает для Бога”».
От молчальничества он перешел еще к новому подвигу — затворничеству. Этому способствовало отчасти следующее обстоятельство. Не было известно, кто и как приобщает отца Серафима с тех пор, как он, приняв на себя молчание, перестал ходить в монастырь. Собор старших иеромонахов решил предложить ему: или ходить в воскресные и праздничные дни для приобщения в монастырь, или, если болезнь ног не позволяет этого, переселиться в Саров. Монаху, носившему отцу Серафиму пищу, было велено передать это ему и спросить у него о его решении. В первый раз отец Серафим ничего не ответил, во второй же раз молча пошел за монахом в Саров, и там остался. Это было в мае 1810 года.
Отец Серафим поселился в прежней келии своей, ни к кому не ходил и к себе никого не принимал. У него не было теперь даже самых необходимых вещей. Икона с горящей лампадой и обрубок пня вместо стула — вот все, что было в келии. И огня он теперь не стал для себя потреблять. На плечах он носил теперь под сорочкою тяжелый железный пятивершковый крест. Собственно же вериг, вероятно, не носил. «Кто нас оскорбит словом или делом, и если мы переносим обиды по-евангельски, — учил он, — вот и вериги наши, вот и власяница». Пищею его были теперь толокно и белая рубленая капуста. Воду и пищу относил ему сосед его по келии, монах Павел. Затворник, покрывшись полотенцем, чтоб никто не видал лица его, выходил из дверей и на коленях, как Божий дар, принимал посуду с пищей.