Столкнувшись с большими трудностями в должности наместника монастыря, отец Парфений часто порывался оставить эту хлопотную обязанность и удалиться в возлюбленную им с юности пустыню. Неоднократно открывал он владыке Филарету свое желание уехать на Афон. Тот обыкновенно молчал, и только однажды, посетовав, со скорбью сказал: «Ну, бросим дело Божие, к которому мы призваны: вот и я, глядя на тебя, все оставлю, оставим Церковь Христову на расхищение врагам... Да разве ты чем оскорблен, что хочешь оставить меня, а мне одному что делать без вас?»
. Это было в 1861 году. А вскоре митрополит писал: «С участием сожаления узнаю, что вы внезапно потерпели повреждение слуха. Ho по сему случаю вы слишком далеко простираете ваши размышления... Закрытие уха никак не говорит вам: оставь по своей воле службу, в которую ты устроен Провидением Божиим, и иди туда, где неизвестно, сколько добра приобретешь для себя и где не будешь иметь, как здесь, случая служить спасению других. Напротив того, слово Божие повелевает вам говорить: не Богу ли повинется душа моя; от Того бо терпение мое. Слово человека Божия послало вас из Афона в Россию, и вы повиновались ко благу своему и других. Надобно остерегаться, чтобы не нарушить сего спасительного повиновения. Человек Божий не разрешал вам возвратиться из России, а приказал идти в Россию, и только. Размыслите о сем, и надеюсь, не оставите вашего поприща. He без трудностей путь ваш, но вы на пути Господнем». А когда на отца Парфения и обитель появились доносы, владыка Филарет написал ему: «Сколько прискорбно то, что на вас, на обитель вашу есть доносы, столько утешительно, что они ложные... Вы подвизаетесь ради Христа, за правую веру Его, за святость Православной Церкви Его... Обитель ваша требует продолжения вашего подвига для ее утверждения и для принесения ожидаемого от нее плода. Преемнику вашему нужно было бы много труда и времени, чтобы приобрести то значение, которое вы имеете и которое споспешествует дальнейшему вашему подвигу. Укрепитесь надеждою на Бога и благодушествуйте. Охраните себя и терпением. He много ли сказано, что ваша братия и богослужение образцовые по всей России? Дело, по которому вы дали ответы на вопросы, без сомнения, не будет иметь неприятных последствий ни для вас, ни для обители».Из приведенных писем видно, какую действенную духовную помощь и заступление получал отец Парфений от великого святителя Московского.
Потрудившись достаточно на благо Церкви, схиигумен Парфений был уволен на покой 30 мая 1872 года, после чего жил в Гефсиманском скиту до 1874 года, а затем перешел в Свято-Троицкую Сергиеву Лавру, где после тяжелой болезни скончался 17 мая 1878 года.