В 1806 году настоятель Саровской обители, старец Исайя, по болезни и старости лет удалился от дел. Братия избрали на его место Серафима, однако преподобный отказался от этого назначения. Настоятелем был избран отец Нифонт. Исайя прожил в монастыре еще год. Из-за немощи он не мог сам ходить в пустынь к Серафиму, и братия, по его просьбе, возила его туда на тележке. Смерть старца Исайи (декабрь 1807 года) произвела сильное впечатление на преподобного. Это был последний из близких ему людей. До конца жизни Серафим с особым усердием молился о упокоении душ блаженных Пахомия, Иосифа и Исайи и завещал поминать их в молитвах своим ученикам.
По смерти старца Исайи преподобный, не изменяя своего образа пустыннической жизни, возложил на себя новый тяжкий подвиг —
Среди братии нашлись недовольные тем, что преподобный удалился от монастыря. Настоятель обители отец Нифонт, «муж богобоязненный и добродетельный и в то же время великий ревнитель устава и порядков церковных» (слова Жития), также выражал недовольство тем, что старец не принимает причащения в монастырской церкви. Был созван собор из старших иеромонахов, которым представили на разрешение вопрос относительно причащения старца Серафима. Старцы решили предложить преподобному, если он здоров и крепок ногами, по-прежнему приходить в обитель по воскресным и праздничным дням для причащения Святых Таин; если же ноги не служат ему (а после трехлетнего стояния на камне так оно и было), он должен перейти на жительство в монастырскую келью. Брат, носивший по воскресным дням пищу святому, передал ему решение монастырского собора. В первый раз старец ничего не ответил. Тогда, спустя неделю, брат повторил соборное распоряжение. В ответ преподобный благословил инока и вместе с ним отправился пешком в обитель. Это случилось 8 мая 1810 года. Преподобному было пятьдесят лет от роду.
По возвращении в монастырь после пятнадцатилетнего пребывания в пустыни начался новый подвиг преподобного —