Но когда Диавол не мог сам по себе причинить твёрдому отшельнику никакого вреда: то употребил на сие орудием злых людей. 1804 года 12-го Сентября пришли к Старцу три человека из соседних крестьян. Он был в это время в своём огороде. Крестьяне приступили к нему и требовали от него денег, говоря, что к тебе ходят мирские люди и носят деньги. Он им отвечал, что я ни от кого ничего не беру; но они, не поверяя его словам, положили вынудить требуемое насильственным образом. Один из них сначала ударил его в голову так крепко, что у него пошла из уст и ушей кровь, — потом били его смертельно и, связав ему руки и ноги, притащили его в сени его келлии, где до тех пор били, пока сочли его уже умершим. По таковом бесчеловечном поступке они осматривали всё у него в келлии и, не нашедши ничего, кроме скудных съестных припасов, удалились. От сих смертельных ударов он едва мог придти в чувство и кое-как развязать себя. На другой день весь израненный с большим трудом пришёл в обитель во время литургии. Он был весь окровавлен, волосы его были смяты и смешаны с сором, руки избиты, уста запеклись кровию и несколько зубов было выбито. Увидев его братия в таком жалком положении, ужаснулись и спрашивали, что с ним случилось? Он просил их позвать к себе Строителя и Казначея, которым всё случившееся с ним объявил. Строитель Исайя и Казначей очень о сём сожалели. После того узнаны были те крестьяне, которые его избили; но он, простя их, упрашивал Настоятеля, чтоб и он никакого с них взыскания за сие не делал; в противном случае лучше он соглашался, чтоб его из обители выслали, нежели им какое-либо оскорбление нанесли. Так он был незлобив и отпутал обиды врагам своим! По некотором времени, предстательством Божия Матери, как он о сём открыл одному из братии, получил он от тех причинённых ему побоев исцеление. После сего просил он у Настоятеля позволения паки возвратиться в свою отшельническую келлию. Настоятель, по совету братии, уговаривал его остаться навсегда в монастыре, опасаясь подобных случаев; но он отвечал, что не страшится таких нападений; ибо решился претерпевать все оскорбления, какия бы ни случились, подражая Мученикам, страдавшим за Господа нашего Иисуса Христа. Настоятель, видя твёрдость его духа, оставил его при его желании, и он возвратился в свою пустынную келлию.
К Строителю Исайи Отец Серафим имел великое уважение и любовь: ибо Исайя воспринимал его при пострижении в монашество от Евангелия, и был ему духовный Отец. Посему по смерти сего Строителя, скончавшагося 1807 года, лишение коего было для него великою потерею, он предал себя совершенному безмолвию, и ни с кем не говорил, пребыв в молчании около трёх лет. Удручённый летами Старец и изнурённый от долговременных подвигов, постепенно ослабевал в силах своих, так что уже не мог по прежнему обычаю приходить в монастырь в праздничные дни для приобщения Святых Тайн. Сие побудило его переменить пустынную жизнь. По благословению Строителя Нифонта, он оставил пустынную свою келлию, пробыв в ней около шестнадцати лет, и переселился в монастырь 1809 года Майя 9-го дня. Настоятель и братия весьма обрадовались его переселению: ибо могли всегда его видеть и пользоваться примером его благочестивой жизни.
По вступлении в монастырь, он затворился в своей келлии и опять, по прежнему своему обычаю, предал себя безмолвию и уединению, в течение пяти лет никого почти не принимая ни из братии, ни из посторонних посетителей. Он не хотел требовать для себя даже нужных потребностей. В его келлии не было огня; волосы на голове свалялись так, что едва ножницами кое-как могли подстричь их и снять наподобие шапки. Одежда его была всегда одинакова. На теле своём носил он вериги. Умертвив в себе ко всем мирским прелестям желание, он всегда пред очами имел память смертную, по учению Иисуса сына Сирахова: Помни последняя твоя, и во веки не согрешиши (Сирах, гл. 7. ст. 39). Он упросил сделать себе дубовый гроб и поставил его в сенях своей келлии, у котораго часто моляся, всегда готовился к исходу от здешней к вечной жизни, и сидел в келлии своей как во гробе, подобно живому мертвецу. Редкие из братии могли его видеть и с ним беседовать. Он приходящих к нему учил ходить в церковь неопустительно, заниматься умною молитвою, проходить послушание, какое Начальников будет возложено, и стараться паче всего быть мирну. Нужная же пища для него приносима была чрез одного, живущаго с ним, брата в его сени и тут поставляема. Так приносили ему оную до самой его кончины. Часто случалось, что кто-нибудь из братии заставал его в келлии на молитве или в чтении, и, желая воспользоваться его наставлениями, предлагал ему разные вопросы; но он, не обращая на его слова никакого внимания, оставался при своём занятии, и пришедший к нему брат принуждаем был удалиться, не получив от него никакого ответа на предлагаемые вопросы. Таково было его безмолвие и углубление в самого себя!