Его усердие к Матери Божией было необыкновенно. Он имел к Пресвятой Владычице умилительную, нежную и детскую любовь, и эта любовь излилась во вдохновенном к Ней воззвании: "Возлюбленная Богу Отцу дщерь, Безмужняя Эммануила Мати, кристалловидная Параклита, невесто святогласная горлице, белолилейный Творца ковчеже, благородное гнездо орла небесного, несгораемая свеще мирови! Архангельские Гавриилов глас вопию Ти!" "Наипрекраснейшая и добропослушливая Марие, Слову Мати Пречистая! ничего же иного, кроме Божией любве, пожелати не знаю. И в последняя моя — на поклонение ко Иисусови пройти, от злобных стражей мытарств Ты ми помози. На Тебе надеюся и Тобою хвалюся, да во век не посрамлюся, пепел и персть аз".
"Несомненная моя надеждо, Архангельске глас вопию Ти, безгрешная Маргарито, спасающая род наш, Игумения Лавры пещер, обрадованная, радуйся! С Тобою Господь, Тобою же с нами; умилосердися надо мною: грешен есмь, но Твой! Поручница мне и житию исправительница буди. Всего себя вручаю Тебе, Мати Божия. Сохрани мя под кровом Твоим".
"Сердобольная Мати моя, Богородице, и несомненная вся надеждо, под кровом Твоим сохрани меня, погибающа, и в шлем спасения облецы мя, инока". О Благовещении о. Парфений говорит: "Буди благословен и преблагословен день Благовещения Пресвятыя Владычицы нашея Богородицы". Много раз он имел видения Пречистой Девы. Однажды, прочтя, что Святая Владычица была первою инокинею, он стал размышлять о том и задремал. Тогда он увидел окруженную монахами величественную инокиню с жезлом в руках. Она подошла к нему и сказала: "Парфений, Я — монахиня!" В другой раз Она предстала ему во славе в час скорби, по горячей мольбе его. Он провел несколько лет в тесной келлии, окно которой загородил иконою Пресвятой Богородицы, озаренной лампадою, и говорил: "На что мне свет чувственный: Пречистая — свет очей и души моей". Молясь однажды, чтоб открыла ему Владычица, что есть схимничество, услышал он голос: "Посвятить себя на молитву за весь мир".
Отлученный от всего земного — мирское достояние считал он грехом. Вещи, приносимые ему, связывал в узел и выносил на дорогу. Графиня Анна Орлова однажды, преклонив пред ним колени, сказала: "Отец, чем я тебя могу утешить? — не пожалею и миллионы". — "Вот нашла, чем утешить, — отвечал он, — на что мне этот навоз?"
Отца Парфения смущало, что он не испытал гонения, и что тем путь его скорбей не полон. Но митрополит киевский Филарет успокоил его: "На что тебе гонение, — ты сам себя гонишь. Кто пожелает жить твоею жизнью?"
Величайшею отрадою подвижника было ежедневное совершение литургии в домовой церкви митрополита. Тут во время херувимской, молясь пред престолом с воздетыми руками, видел он однажды отверстое небо, Христа, сходящего на престол, Бога Отца, благословляющего Его снисхождение и парящего над Ним Духа Святого. 13-го ноября 1843 года видел он Златоуста с архистратигом, пришедших к нему на помощь. Однажды, долго повторяя молитву: "Иисусе, живи во мне", — услыхал сладкий и тихий голос: "Ядый Мою плоть и пияй Мою кровь во Мне пребывает, и Аз в нем". Накануне нового года, созерцая духовно младенчество Богочеловека, погрузился он в тонкий сон, и увидел двух ангелов, летящих от Востока с Младенцем на руках, Которого они положили пред старцем. Невыразима была красота Божественного Младенца, и от любви, светившейся в его взоре, сердце старца разгоралось.
Весну и лето о. Парфений проводил с митрополитом в Голосеевой пустыни. Там в чаще леса была его келлия; удаляясь в лес, он совершал свои правила. Посетители, приходившие к старцу, отвлекали его от вожделенного безмолвия, но, когда он решил затвориться, ему было видение, что на него напал страшный зверь, а духовные дети отогнали его. Он объяснил себе, что духовными своими детьми обретет он спасение. Неисполненное за день из молитв отлагал он на ночь, так что часто лишь один час оставался на сон.
Истощенная плоть старца казалась прозрачною оболочкою его души. Большие, огненные глаза, пронизывавшие сердце, сосредоточивали всю жизнь.
Редко обличительное слово срывалось с его уст, но тогда и сильных мира он обличал бесстрашно. Последние свои годы старец прожил в келлии у ближних пещер. Большую часть времени он проводил в темной комнате с Распятием и иконою Богоматери. В соседней комнате устроили для него церковь. Его служение исполняло молящихся невыразимым благоговением.
С радостью ждал он дня смерти и, сидя у приготовленного им для себя гроба, говорил о том, как душа, покинув тело, просияет как солнце и будет с удивлением смотреть на свою смрадную темницу; говорил о вере в Пресвятую Владычицу Богородицу, Которую называл "несомненною своею надеждою, при возвращении от земного, бедственного, многоплачевного, скучного, прискорбного и болезненного странничества в небесное, любимое, блаженное, покойное, всевеселящее, немерцающее, бессмертное, нескончаемое, вечное и неизреченное отечество".