Еще в прежнее время о. Серафим, занимаясь однажды работами в лесу, при порубе дерева был придавлен им и от этого обстоятельства потерял свою природную прямоту и стройность, сделался согбенным. После нападения разбойников от побоев, ран и болезни согбенность еще больше увеличилась. С этого времени он начал ходить, подкрепляясь топориком, мотыкою или палкою. Так, эта согбенность, это уязвление в пяту, служили всю жизнь венцом победы великого подвижника над диаволом.
Со дня болезни старец Серафим провел в монастыре, не видя своей пустыни, около пяти месяцев. Когда здоровье возвратилось к нему, когда он почувствовал себя опять крепким к прохождению пустыннической жизни, то просил настоятеля Исаию снова отпустить его из монастыря в пустынь. Настоятель же, по внушению братии и сам, искренне жалея старца, упрашивал было его остаться навсегда в монастыре, представляя возможным повторение подобных крайне несчастных случаев. Отец Серафим отвечал, что ни во что вменяет такие нападения и готов, подражая свв. мученикам, страдавшим за имя Господне, даже до смерти перенести всякие оскорбления, какие бы ни случились. Уступая христианской неустрашимости духа и любви к пустынножительству, о. Исаия благословил желание старца, и старец Серафим снова возвратился в свою пустынную келию.
С новым поселением старца в пустыне диавол претерпел совершеннейшее поражение. Крестьяне, избившие старца, были найдены; они оказались крепостными людьми помещика Татищева, Ардатовского уезда, из села Кременок. Но о. Серафим не только простил их самих, но и упрашивал настоятеля обители не взыскивать с них, а затем такую же просьбу написал помещику. Все были до такой степени возмущены поступком этих крестьян, что казалось невозможным простить их, а о. Серафим настаивал на своем: «В противном случае, — говорил старец, — я оставлю Саровскую обитель и удалюсь в другое место». Строителю же, о. Исаии, своему духовнику, он говорил, что лучше его удалили бы из обители, нежели нанесли крестьянам какое-либо наказание. О. Серафим представил отомщение Господу Богу. Гнев Божий действительно настиг этих крестьян: в непродолжительном времени пожар истребил жилища их. Тогда они пришли сами просить у о. Серафима, со слезами раскаяния, прощения и святых его молитв.
Старец о. Исаия очень почитал и любил о. Серафима, а также дорожил его беседами; поэтому он, когда был свеж, бодр и наслаждался здоровьем, нередко сам ходил в пустынь к о. Серафиму. В 1806 году Исаия, по старости лет и от трудов, понесенных для спасения себя и братии, сделался особенно слаб здоровьем и, по собственному прошению, уволился от обязанности и звания настоятеля. Жребий занять его место в обители, по общему желанию братии, пал на о. Серафима. Вот уже второй раз старец избирается на начальственные должности по монастырям, но и на этот раз, по своему смирению и из крайней любви к пустыне, он отказался от предлагаемой почести. Тогда голосом всей братии настоятелем избран был старец Нифонт, исполнявший до того времени послушание казначея.
Старец о. Серафим после смерти строителя Исаии не изменил прежнего рода жизни и остался жить в пустынке. Он только принял на себя еще больший труд, а именно молчальничество. К посетителям он более не выходил. Если ему самому случалось неожиданно встретить кого в лесу, старец падал ниц лицом и до тех пор не поднимал глаз, пока встретившийся не проходил мимо. Таким образом он безмолвствовал в продолжении трех лет и некоторое время перестал посещать обитель по воскресным и праздничным дням. Один из послушников носил ему и пищу в пустынь, особенно в зимнее время, когда у о. Серафима не было своих овощей. Пища приносилась однажды в неделю, в день воскресный. Трудно было назначенному иноку совершать это послушание в зимнее время, так как в пустынку о. Серафима дороги не было. Бывало, бредет он во время вьюги по снегу, утопая в нем по колена, с недельным запасом в руках для старца-молчальника. Вошедши в сени, он произносил молитву, а старец, сказавши про себя: «Аминь», отворял дверь из келии в сени. Сложив руки на груди крестообразно, он становился у двери, потупив лицо долу, на землю; сам ни благословит брата, ни даже взглянет на него. А пришедший брат, помолившись, по обычаю, и поклонившись старцу в ноги, полагал пищу на лоточек, лежавший на столе в сенях. Со своей стороны, старец клал на лоточек же или малую частицу хлеба, или немного капусты. Пришедший брат внимательно замечал это. Этими знаками старец безмолвно давал знать, чего принести ему в будущее воскресение: хлеба или капусты. И опять пришедший брат, сотворив молитву, кланялся старцу в ноги и, испросив молитв его о себе, возвращался в обитель, не услыхав от о. Серафима ни единого слова. Все это были только видимые, наружные знамения молчальничества. Сущность же подвига состояла не в наружном удалении от общительности, но в безмолвии ума, отречении от всяких житейских помыслов для чистейшего посвящения себя Господу.