Года через два, пользуясь расположением игумена, Ипат нередко стал уходить из монастыря и пропадал где-то по нескольку дней. Позже игумен Герасим узнал, что его любимец занимался на стороне греховными делами. В Боровске он сошёлся с колдуном и чернокнижником Мансурой, учился у него колдовскому делу, готовил отравное и отрадное зелья, вызывал злых духов, напускал на людей туман.
Герасим предостерёг Ипата:
— Сын мой, не разрушай мою любовь к тебе. Отрекись от сатанинских премудростей, покайся и остережёшься зловонной хлевины.
Ипат понял, что он живёт под недреманным оком монахов, что его свобода мнимая. И он внял предостережениям игумена, больше года не покидал стен обители. Герасим подумал, что Ипат исцелился, вновь стал давать ему поблажку. Ипат и впрямь забыл Мансуру, но окунулся в новую греховность — в женолюбие. Ему легко было добыть внимание одиноких жёнушек. Ни одна вдовица-молодица не могла устоять перед его обаянием.
Так прошло семь лет жизни Ипата в Пафнутьевом монастыре. Его не тянуло на родину, где ему был уготован позор за то, что сдался в плен. Он был доволен своим вольным положением при игумене Герасиме. Но к этому времени престарелый Герасим источился здоровьем и преставился. Пожалуй, никто из монастырской братии не пролил столько слёз, не вознёс в небо стенаний, сколько излил Ипат. Он страдал искренне, потому как знал, что на смену мягкосердому Герасиму придёт суровый правдолюбец преподобный отец Адриан. Так и было.
И на восьмом году благостное пребывание Ипата в монастыре завершилось. Зная о приверженности Ипата к ворожбе и к чернокнижию, а пуще к прелюбодеяниям, Адриан изгнал крещёного южанина из обители. На прощание суровый игумен сказал ему:
— Разум твой и плоть твоя очистятся от сатанинской греховности токмо в геенне огненной. Обитель чтит память преподобного великосхимника и игумена Герасима, потому мы не ввергаем тебя в оскудение жестокое, но даём волю. Врата обители распахнуты, и уходи не мешкая.
Суровый взгляд Адриана и предупреждение подвергнуть «оскудению жестокому» породили в душе Ипата страх. И он покинул обитель, забрав с собой малое нажитое за минувшие годы добро. Случилось это летней благодатной порой. Уходя из обители по лесным дорогам и тропам, Ибрагим обрёл спокойствие и, прошагав вёрст двадцать пять, уже на закате солнца остановился на живописном берегу малой речки Росянки и заночевал в чаще под кроной могучего дуба.
И прошло ещё семь лет. Ипат не покинул речку Росянку, она его околдовала. Добыв в ближней деревне топор и пилу, он принялся рубить себе хижину и осел в ней прочно и надолго. Вскоре же к малой хижине он прирубил просторный покой, поставил очаг из камня и начал добывать себе пропитание ворожбой.
Молва о том, что в воровской чаще поселился отшельник и чародей, вскоре облетела всю округу и вышла за пределы Боровского уезда. К Ипату потянулись страждущие паломники, надеясь на исцеление от недугов. Большей частью это были женщины. Шли они из Боровска и Коломны, из Серпухова и Медыни, из многих других городов средней России. Вскоре слава-молва о чудотворце-целителе долетела до стольного града, и потянулись за Боровск из Москвы «бесплодные смоковницы». Немало их, возвращаясь от целителя, забывали о своём недуге, обогащались потомством.
К этому целителю и привезла княгиня Анна Елену. Жилище отшельника, спрятанное в чаще, было обнесено высоким острокольем, с крепкими дубовыми воротами. Лишь только путники подъехали к ним, как на дворе раздался яростный и злобный лай. Но вскоре пёс замолчал, открылась калитка, и появился Ипат, держа в руках тяжёлый и острый посох.
— Кого Бог принёс? — спросил он всадника, стучавшего в ворота.
— Пускай во двор: московские гости пожаловали, — ответил рында.
Отшельник подошёл к каптане, дождался, когда воин открыл дверцу, и, увидев два женских лица, сказал:
— Милости просим, гости желанные.
Кони вкатили каптану на двор, и из неё первой вышла княгиня Анна.
— Не спрашивай, кто мы, святой отец. Прояви милость и прими нас.
Елена выбиралась из каптаны медленно, на землю ступила осторожно, словно боялась, что под ногами у неё разверзнется прорва, встала за спиной матери. И хотя уже опустились сумерки, она разглядела лицо отшельника. Оно показалось ей до боли знакомым. Да тут же её взяла оторопь: лик целителя был очень похож на лицо князя Василия, лишь на несколько лет моложе. «Что за блажь у матушки появилась?» — подумала Елена и сделала шаг к каптане, взялась за дверцу. Но хозяин ласково, каким-то манящим голосом позвал их:
— Гости любезные, прошу вас в моё пристанище, где тепло и сухо.
Он взял княгиню Анну за руку и повёл её к видневшемуся за берёзами жилищу. Елена осталась на месте. Ипат заметил её нерешительность, вернулся и подал ей руку. Она была тёплая и мягкая. Сказал отшельник неожиданное для Елены:
— Государыня, ты в святом месте, под защитой Всевышнего. — И он повёл её за собой.