Монастырь не упоминался в туристических путеводителях, на картах Московской области не были отмечены деревни, окружающие его. Затерянный среди лесов и болот, он казался сказочным, нереальным. Всё в нём удивляло: и заброшенность, и архитектура, и, несомненно, какая-то тайна. Со всех сторон он был окружён каменной оградой. За ней слева (если смотреть на литографию), через дорогу — старое замшелое кладбище, справа — несколько жилых домиков. Пойдёшь мимо них — и дорога приведёт в деревню близ Рассудова. По сторонам дороги — канавы, полные воды, и лес на протяжении всего лета затоплен и непроходим.
«Сама пустынь стоит на плоском и довольно топком месте так, что даже в самое сухое лето нет возможности обойти около монастыря, не попавши в топь, хотя есть возле канавы, выкопанные для осушения, но от них немного пользы. Даже в самом монастыре растёт осока, и для перехода от здания к зданию оказались необходимы деревянные помосты», — писал о монастыре архимандрит Пимен в Чтениях Императорского общества истории и древностей российских (кн. 1, январь—март 1877 г.).
Если выйти на запад из ворот у колокольни и пройти по дороге километра два, попадёшь в деревеньку (домов 10–20) под названием «Мыза». Когда-то она называлась Кодратово, но об этом никто не помнил.
24 марта (по старому стилю) 1767 года в семье воеводы города Смоленска, Василия Даниловича Верховского, родился младший из сыновей. Незадолго до его появления на свет Василий Данилович услышал голос во время ночной молитвы: «Когда родится у тебя сын, не учи его светским наукам, а лишь закону Божию».
Младенца нарекли Захаром. Он был тих и кроток, мало играл с братьями и сёстрами, постоянно находился с родителями и любил слушать рассказы о пустынниках и святых. Кроме Закона Божия из наук ему ничего не давалось. Ему было 15 лет, когда, вместе со старшими сыновьями, родители определили его на царскую службу. Братья попали в гвардейский полк, и двое старших вскоре пристрастились к картам, проигрывая не только свои, но и те деньги, что посылали родители на долю младшего. Захарий тщательно это скрывал и молча переживал за братьев. Неожиданно пришла весть о смерти отца, и они вернулись в родительский дом. Мать разделила всё имущество между детьми, и Захарий отдал свою долю братьям и сестре, попросив себе лишь мёд. Он читал, что Сам Господь, Иоанн Предтеча и святые постники питались мёдом, и во всём старался им подражать.
Когда через год скончалась мать, ничто более не привязывало Захария к светской жизни и он решил отправиться на остров Коневец Ладожского озера, в Коневскую обитель, где принял постриг в иноческий чин и другое имя — Зосимы. Он приобрёл всеобщую любовь монастырской братии и своего духовного наставника, отца Адриана.
Через три года о. Адриан, отправляясь за сбором в Смоленскую губернию, взял с собой Зосиму, и они посетили пустынников в Брянских лесах. В пустыни жил ученик о. Адриана — о. Василиск. Удалось уговорить его переселиться в Коневец, и Зосима решил до конца своей или о. Василиска жизни с ним не разлучаться, совершенно во всём быть к нему в повиновении.
О. Адриан выстроил две кельи в трёх верстах от Коневского монастыря, невдалеке одна от другой (пустынь), и отпустил на безмолвие о. Василиска, поручив ему юного Зосиму. Из обители им доставляли самую умеренную пищу и нищенскую одежду. Безмолвствуя в течение пяти дней недели, коневские пустынники в субботу приходили в монастырь ко всенощной, ночевали в кельях и в воскресенье, отслушав литургию, отобедав с братией за общей трапезой, возвращались в своё уединение.
Весть о святых пустынниках распространилась по всей округе, и остров стал местом паломничества сотен людей. Приходили и приезжали за советом, благословением и утешением, с деньгами и подарками. Василиск и Зосима ничего не принимали, отсылая всё отдавать в монастырь.
Не выдержав натиска посетителей, угодники Божьи стали просить о. Адриана отпустить их на Афонскую гору или на какой-нибудь необитаемый остров. Лишь после 10-летнего пребывания в Коневце, перед тем как о. Адриан ушёл на покой в Симонов монастырь, они получили от своего учителя благословение на переселение в дикую, необитаемую пустыню — в Сибирь.