Одно время он был в Оптиной ризничим. Как-то приехали в обитель из Калуги директор гимназии и ректор семинарии, осмотрели ризницу и спросили: нет ли в монастыре каких-нибудь древностей? Отец Палладий ни слова не говоря привел их в трапезную и там, в преддверии, остановился перед большой картиной Страшного суда. Указав прямо на сатану, он сказал: «Вот это у нас самая старая древность, древнее ее нет. Его еще древние отцы называли древнею злобою». Картина написана была в 1721 году.
На все он смотрел духовным взором. Любил в ясную ночь смотреть на звезды, годовое положение которых знал. «Ну, где эта звезда была целые полгода? — удивлялся он. — А вот опять явилась и опять уйдет в свое место. Как все у Бога блюдет свой чин!». Еще он говорил: «Подивись премудрости Божией, как Господь все устроил, всему повелевает и все слушает Его; только человек вышел из повиновения». Удивляется он каждому растению, как оно растет незаметно, как появляются листья, а потом и цветы… и прославляет Творца всего. Отец Палладий скончался в 1861 году. Таков был один из насельников будущего скита.
План скита был составлен игуменом Даниилом и отцом Моисеем. Преосвященный Филарет 31 июня того же года утвердил его: «По сему начертанию строить скит да благословит Господь Бог и благодатию Своею да поможет совершить!». Игумену Даниилу владыка писал: «Для строения скита представили мне пустынножители план, который я подписанием своим и утвердил. Прошу покорно отвести им по их и нашему избранию место; Господь да благословит начать им доброе и угодное Ему делание; пусть они трудятся в очистке места. Ежели готовы материалы, то я благословляю обеими руками строиться, — прежде келии, а потом прочее нужное. Я буду к вам в начале Успенского поста на целую неделю говеть. Приятно бы для меня было, ежели бы до того времени они построились.
До решительного положения полных правил жития их прошу вас теперь же сделать: 1) братиям воспретить к ним вход без вашего дозволения и не в назначенное время;
2) женскому полу совершенно возбранить туда вход и 3) другим мирским людям не иначе позволять, как с согласия их старца; 4) во всем, где можно помочь им в построении без отягощения монастыря, не откажите; 5) запретите строго рубить всякой лес около сего скита, дабы навсегда он был закрыт»46
.И вот началась работа. «Из срубленного на месте леса скитяне, — пишет отец Ювеналий, — выстроили себе на первый раз небольшую келию на юго-западной стороне и жили в ней все пятеро вместе, общежительно. Потом обнесли все расчищенное место досчатым забором и, наконец, приступили с благословения Преосвященного к построению скитской церкви во имя Собора святого Иоанна Предтечи и Крестителя Господня. По воле Архипастыря этой церкви присвоивалось название “домовой для архиерейского приезда”, вследствие чего и предположено было строить западную часть ее по домовому расположению»47
.16 августа 1821 года после ранней обедни игумен Даниил пришел в скит, где его уже ожидали новые его насельники, и, положа вместе со всеми три земных поклона на том месте, где предстояло быть возведенной церкви, сказал: «Да будет на месте сем благословение святыя пустыни Иордановы и всех там безмолвствовавших!». Потом он взял заступ и начал рыть траншею для фундамента. 18 числа совершен был малый крестный ход из обители в скит, без звона, во главе с игуменом Даниилом, здесь — молебен с водосвятием. Так заложен был храм. В основание его, под престолом, положена была частица мощей святого и славного Пророка, Крестителя и Предтечи Господня Иоанна. А в следующем году козельский помещик Иван Петрович Анисимов пожертвовал в скитскую церковь образ святого Иоанна Предтечи, родовой, благословение ему от родителей, — древний, темный. Скитяне с благоговением приняли его, но положили в ризнице — до времени, так как храм внутри не был еще отделан. Через полгода И.П. Анисимов приезжает и говорит, что в нынешнюю ночь явился ему во сне Иоанн Креститель и строго сказал, чтобы он позаботился о его иконе, которая лежит в темном месте. Братия немедленно устроила эту икону на аналое. Впоследствии на этот образ кем-то пожертвована была сребропозлащенная риза и он помещен был над Царскими вратами рядом с иконой Знамения Божией Матери.
Владыка Филарет имел такую мысль, «чтобы со временем, — как он говорил, — обрести себе здесь же покой от служения епархиального и посвятить себя подвигу иноческому»48
.