Каковы были подвиги святого в это время, мы можем только догадываться. Сам он рассказывал, между прочим, что принял на себя, по примеру древних отцов, подвиг столпничества. В лесу, на полпути от кельи к монастырю, лежал высокий гранитный камень. Ночью, никем не видимый, преподобный взбирался на него и, стоя на ногах или на коленях, молился, взывая к Богу: «Боже, милостив буди мне грешному». В своей пустыньке он также поставил небольшой камень и молился на нем с утра и до вечера, прерываясь лишь для недолгого отдыха и принятия скудной пищи. И так, в этом великом подвиге, преподобный провел тысячу дней и тысячу ночей. От такого невероятного напряжения сил и почти трехлетнего стояния на камне старец пришел в крайнее телесное истощение; на ногах его образовались болезненные язвы, и он вынужден был прекратить сей великий подвиг. Преподобный Серафим рассказал об этом своим ученикам лишь в конце жизни, незадолго до смерти; один из слушателей заметил тогда, что подвиг этот выше сил человеческих. На это преподобный отвечал: «Святой Симеон Столпник сорок семь лет стоял на столпе, а мои труды похожи ли на его подвиг?» Впоследствии эти молитвенные камни были разнесены паломниками на кусочки, и многие получали от них исцеления.
Осенью 1804 года преподобный подвергся жестокому нападению неких разбойников. Как оказалось впоследствии, то были крестьяне местного помещика Татищева. Злодеи напали на отшельника в лесу, когда тот рубил хворост, и стали требовать денег, полагая, что раз к нему приходят миряне, то он, должно быть, получает от них немалую мзду. Святой отвечал, что он ни от кого денег не берет. Тогда один из злодеев набросился на святого, но оступился и сам упал. У Серафима был в руках топор, и он, человек физически сильный, наверное, мог бы защитить себя от нападения. Но, вспомнив слова Христа: «Взявшие меч, мечом погибнут»
В течение восьми дней старец нестерпимо страдал и лежал еле живой, не принимая никакой пищи. Отчаявшись за его жизнь, послали за врачами. Те освидетельствовали больного: оказалось, что у него проломлена голова, сломаны ребра, грудь, на теле множество смертельных ран. Братия собрались в его келье, послали за игуменом. В это время преподобный уснул. И вот, в сонном видении, ему вновь, как и много лет назад, явилась Пресвятая Богородица. Она была в царской порфире, следом шествовали апостолы Петр и Иоанн Богослов. Остановившись у постели больного, Пречистая указала на него перстом правой руки и, оборотясь к врачам, произнесла: «Что вы трудитесь?» Затем обратила лицо Свое к старцу Серафиму и повторила те слова, которые произносила уже однажды: «Сей — нашего рода».
Когда настоятель пришел в келью, Серафим уже очнулся. Он отказался от всякой врачебной помощи и твердо заявил, что возлагает упование на Бога и Божию Матерь. С того времени постепенно к нему стали возвращаться силы.
Около пяти месяцев провел преподобный в монастыре. Облик его после болезни сильно изменился: волосы побелели, а спина согнулась так, что до конца своих дней он мог ходить, лишь опираясь на клюку или на топорик. Но дух старца Серафима не был сломлен. Почувствовав, что силы возвращаются к нему и он снова готов к подвигу, преподобный объявил о своем решении вернуться к пустыннической жизни. Старец Исайя и прочие братия пытались уговорить его остаться в монастыре, но преподобный был непреклонен. (Вскоре разбойники, избившие старца, были найдены. Серафим просил настоятеля обители и помещика не наказывать их, объявив, что в противном случае покинет Саровскую обитель. Злодеев простили, но Бог покарал их: вскоре их дома сгорели от сильного пожара. Разбойники совершенно раскаялись, просили у старца Серафима прощение и, как свидетельствует Житие святого, встали на путь добродетельной жизни.)