В эти годы его нередко посещали саровские иноки, а иногда и миряне; они приходили за советом, или наставлением, или просто, чтобы повидать его. Святой умел распознавать людей и их тайные мысли: от разговора с одними он уклонялся и встречал их молча, с другими беседовал охотно. Если же старец встречал кого-нибудь вне своей кельи, например в лесу, то обыкновенно смиренно кланялся ему и, не вступая в беседу, удалялся молча. «От молчания никто никогда не раскаивался», — не раз говорил он впоследствии.
Каковы были подвиги святого в это время, мы можем только догадываться. Сам он рассказывал, между прочим, что принял на себя, по примеру древних отцов, подвиг столпничества. В лесу, на полпути от кельи к монастырю, лежал высокий гранитный камень. Ночью, никем невидимый, преподобный взбирался на него и, стоя на ногах или на коленях, молился, взывая к Богу: «Боже, милостив буди мне грешному». В своей пустыньке он также поставил большой камень и молился на нем с утра и до вечера, прерываясь лишь для недолгого отдыха и принятия скудной пищи. И так, в этом великом подвиге, преподобный провел тысячу дней и тысячу ночей. От такого невероятного напряжения сил и почти трехлетнего стояния на камне старец пришел в крайнее телесное истощение; на ногах его образовались болезненные язвы, и он вынужден был прекратить сей великий подвиг. Преподобный Серафим рассказал об этом своим ученикам лишь в конце жизни, незадолго до смерти. Впоследствии эти молитвенные камни были разнесены паломниками на кусочки, и многие получали от них исцеление.
Осенью 1804 года преподобный подвергся жестокому нападению неких разбойников. Как оказалось впоследствии, то были крестьяне местного помещика Татищева. Злодеи напали на отшельника в лесу, когда тот рубил хворост, и стали требовать денег, полагая, что раз к нему приходят миряне, то он, должно быть, получает от них немалую мзду. Святой отвечал, что он ни от кого денег не берет. Тогда злодеи жестоко, до бессознательного состояния, избили его, а в келье его все перевернули и переломали, но денег не нашли. Злодеи пришли в ужас, поняв, что они убили без всякой пользы для себя святого человека, и бросились бежать.
В течение восьми дней старец нестерпимо страдал и лежал еле живой, не принимая никакой пищи. Отчаявшись за его жизнь, послали за врачами. Те освидетельствовали больного: оказалось, что у него проломлена голова, сломаны ребра, грудь, на теле множество смертельных ран. Братия собрались в его келье, послали за игуменом. В это время преподобный уснул. И вот в сонном видении ему вновь, как и много лет назад, явилась Пресвятая Богородица. Когда настоятель пришел в келью, Серафим уже очнулся. Он отказался от всякой врачебной помощи и твердо заявил, что возлагает упование на Бога и Божию Матерь. С того времени постепенно к нему стали возвращаться силы.
Около пяти месяцев провел преподобный в монастыре. Облик его после болезни сильно изменился: волосы побелели, а спина согнулась так, что до конца своих дней он мог ходить, лишь опираясь на клюку или на топорик. Но дух старца Серафима не был сломлен. Почувствовав, что силы возвращаются к нему и он снова готов к подвигу, преподобный объявил о своем решении вернуться к пустыннической жизни. Вскоре и разбойники, избившие старца, были найдены. Серафим просил настоятеля обители и помещика не наказывать их, объявив, что в противном случае покинет Саровскую обитель. Злодеев простили, но Бог покарал их: вскоре их дома сгорели от сильного пожара. Разбойники совершенно раскаялись, просили у старца Серафима прощение и, как свидетельствует Житие святого, встали на путь добродетельной жизни.
В 1806 году настоятель Саровской обители, старец Исайя, по болезни и старости лет удалился от дел. Братия избрала на его место Серафима, однако преподобный отказался от этого назначения. Настоятелем был избран отец Нифонт. Исайя прожил в монастыре еще год. Из-за немощи он не мог сам ходить в пустынь к Серафиму, и братия, по его просьбе, возила его туда на тележке. Смерть старца Исайи (декабрь 1807 года) произвела сильное впечатление на преподобного. Это был последний из близких ему людей. До конца жизни Серафим с особым усердием молился об упокоении душ блаженных Пахомия, Иосифа и Исайи и завещал поминать их в молитвах своим ученикам.
По смерти старца Исайи преподобный, не изменяя своего образа пустыннической жизни, возложил на себя новый тяжкий подвиг —