Подобно большинству отшельников и пустынников, Иосиф Фамулус долгие годы вёл напряжённую и изматывающую борьбу с собой. Хотя он и покинул мирскую жизнь, отдал своё имущество и свой дом, оставил город с его столь многоликими соблазнами, но от себя самого он уйти не мог, а в нём жили все страсти души и тела, которые только могут ввергнуть человека в беду и в искушение. Прежде всего он подавил в себе всё плотское, подавил сурово и неумолимо, приучал тело к жаре и холоду, голоду и жажде, рубцам и мозолям, покуда оно не высохло и не увяло; но даже в этой тощей оболочке аскета ветхий Адам не раз неожиданно досаждал ему самыми немыслимыми желаниями и страстями, снами и видениями, ведь хорошо известно, что дьявол особо печётся об отшельниках и аскетах. Так что, когда затем его стали время от времени навещать люди, нуждающиеся в утешении, жаждущие исповеди, он с благодарностью усмотрел в этом зов благодати и воспринял его как некое облегчение своей аскетической жизни: она получила сверхличный смысл, некий сан был ему доверен, теперь он мог служить ближним и служить богу как орудие в его руках для привлечения к себе душ. И это было удивительное и поистине возвышающее чувство. Но позднее он открыл, что и сокровища души принадлежат миру земного и могут стать искусительными ловушками. Ибо случалось, когда путник, пеший или верховой, останавливался перед его кельей, вырубленной в скале, и просил о глотке воды, а затем и об исповеди, нашим Иосифом овладевало чувство довольства, довольства самим собой, суетное и себялюбивое чувство; он приходил в ужас, коль скоро он распознавал его. На коленях молил он бога о прощении, просил, чтобы никто более не приходил к нему, недостойному, на исповедь: ни монашеская братия из соседних келий, ни миряне из городов и деревень. Но и когда посетители не докучали ему, он всё равно не испытывал облегчения, когда же затем к нему вновь начинали обращаться люди, он ловил себя на новых грехах: слушая те или иные признания, он ощущал какой-то внутренний холод, полное безразличие, даже презрение к исповедующемуся. Со вздохом пытался он побороть и эти искушения, подвергая себя после каждой выслушанной исповеди подвигам истязания и покаяния. Сверх того, он возвёл для себя в закон: ко всем исповедующимся относиться не только как к братьям, но даже с особой почтительностью, тем большей, чем меньше ему нравился тот или иной посетитель; каждого он принимал как божьего вестника, посланного ему в испытание. Не скоро, уже начав стареть, он обрёл с годами известное единообразие в жизни, и тем, кто жил с ним рядом, он представлялся безупречным праведником, обретшим умиротворение в боге.