В официальном описании монастыря, хранящемся в Нижегородской консистории, говорится о Е. В. Ладыженской следующее: «В 1856 году наконец, вполне поняв всю настоящую суть и вред от о. Иоасафа, сама же Екатерина Васильевна не только отказалась от его самоуправства, но даже ходатайствовала у своего Нижегородского епархиального начальства о совершенном воспрещении присутствия и вмешательства его в дела ей вверенной Серафимо-Дивеевской общины, что и было исполнено, хотя эта благая, но уже слишком поздняя мера не могла привести к желаемо-искомому результату — миру и спокойствию, потому что многие годы самопроизвольного Иоасафовского управления, приводя все новых и новых, лично лишь им одним принимаемых лиц в Серафимо-Дивеевскую общину, породили в ней еще как бы совсем отдельное общество близких ему привержениц его, ему во всем последовавших и проникнутых духом его собственного учения, которые, невзирая на его отсутствие, составляли как бы душу его в Серафимо-Дивеевской общине. С удаления же их отца-руководителя лишь более и более, где только было возможно, постоянно возмущали собравшееся уже многочисленное общество».
Возвращением художниц из Петербурга в общину был нанесен сильный удар всем замыслам и стремлениям о. Иоасафа и его сестер. Во-первых, почувствовали, что есть власть, которой они должны подчиняться, тогда как до сих пор всем руководились самостоятельно, а во-вторых, личные хлопоты в Петербурге приносили плоды, а переписка их с высокопоставленными лицами, при малограмотности, была всегда затруднительна и менее полезна. До крайности рассерженный и раздраженный этим распоряжением преосвященного Иеремии, о. Иоасаф повел интригу против Владыки, которого обвинили чуть не в сопротивлении желанию Государыни Императрицы. Узнав, что его назначают на Алеутские острова, преосвященный Иеремия подал тотчас прошение об увольнении его на покой и переехал в Печерский монастырь. Только успел водвориться в Нижнем Новгороде вновь назначенный преосвященный Антоний, как получил письмо от фрейлины великой княгини Марии Николаевны, графини Толстой, в котором спрашивалось: не угодно ли Дивеевской общине послать вновь художниц в Петербургскую академию, и дабы выбор сестер был предоставлен о. Иоасафу, так как ему знакомо искусство живописи и он имеет вкус.
Преосвященный Антоний послал о. Иоасафа в Дивеево. Приезд его был неожиданный, после объявленного настоятельницей нежелания допускать его в дела обители, и произвел немалый переполох. Е. В. Ладыженская приняла его сухо в своей келье и сказала, что даст лично ответ преосвященному, а ему не разрешает производить выбор сестер. Несмотря на это, о. Иоасаф составил свой список сестер и представил его Владыке. Когда Е. В. Ладыженская прибыла к преосвященному Антонию, то был позван и о. Иоасаф. На очной ставке настоятельница Дивеевской обители опять отказалась от попечительства и руководства о. Иоасафа, но живописицы под начальством Лукерьи Занятовой собрались и отправились в Петербург без дозволения Ладыженской. Дела обители, таким образом, пришли в полный упадок.