Притом и здоровье старца с течением времени стало ослабевать до последней крайности, а ропот на него посетителей увеличивался, так как в особенности теперь, при огромном стечении народа, многим из них приходилось очень долго ждать его приема. А старец и рад был бы удовлетворить всех, но силы совсем оставляли его. Часто приходилось видеть его, как передают шамординские сестры, лежащим навзничь в полном изнеможении. Бледное, истомленное лицо его выражало страдание; голос совершенно покидал его, и глаза были закрыты. При взгляде на полуживого старца сердце сжималось от жалости. Сам он нередко со скорбию говорил: «Ведь не верят, что я слаб, - ропщут». И однако же этот полуживой семидесятидевятилетний старец не только никогда не терял присутствия духа, но также всегда был спокоен и весел, как и при самых благоприятных обстоятельствах, и своею веселостью и шутливыми рассказами умел разгонять в окружавших его самое мрачное уныние. В эту последнюю зиму пребывания его в Шамординской общине все сестры обители, от чрезмерной слабости старца и от других разных неприятностей, были однажды в особенно мрачном настроении духа. Болезненный старец собрал последние свои силы и с веселым видом вышел в комнату, куда собрались и сестры. Сначала он кое-кому из них поодиночке говорил что-нибудь в утешение, отчего все лица мало-помалу прояснялись; а наконец, вообще пред всеми так насмешил, что разогнал и последние остатки уныния. А в другой раз окружавшие старца сестры стали говорить ему со скорбию: «Какое нам счастье жить при вас и иметь вас, батюшка! А придет время, - не станет вас с нами. Что мы тогда будем делать?» - Батюшка улыбнулся, оглянул всех присутствующих с такою любовию, с какою умел глядеть он один и, покачав укоризненно головою, сказал им: «Уж если я тут с вами все возился, то там-то от вас уж верно не уйдешь».
После Пасхи 1891 года старца постигла новая неожиданная скорбь. Избранная им настоятельница обители м. Евфросиния, его ближайшая помощница и исполнительница его предначертаний, тяжко заболела. Войдя однажды в его келлию по какому-то делу, она вдруг почувствовала себя очень нехорошо. Лицо ее помертвело, дыхание прекратилось, она едва не упала. Смутился старец. Сам, еле передвигая ноги, подошел к видимо умиравшей, затем позвал сестер, которые и уложили ее на стоявший вблизи диван; тогда старец, глядя на нее и как бы прося ее не покидать его, удрученного болезнями и скорбями, сказал дрожащим от волнения голосом: «Мать, подыши еще!» И скоро, по молитвам старца, дыхание ее возобновилось, и она была приобщена Св. Христовых Таин. После этого случая м. Евфросиния стала слепнуть. К средине лета она уже ничего не могла видеть, - могла только различать белый цвет от черного. Тяготясь, вследствие потери зрения, должностью настоятельницы, она просила старца позволить ей подать прошение об отставке, но старец не благословил, сказав: «Сама не подавай, а если велит подать начальство, то подай». При этом он старался всячески утешать ее и ободрять, говоря: «Мать! Претерпевай и не унывай!» В довершение всех скорбей старца обрушилось на него и неблаговоление епархиального начальства, особенно обострившееся к концу его жизни. В 1890 году в Калугу был назначен новый архиерей, перемещенный из Тамбова, преосвященный Виталий. Прибыл он на епархию осенью, когда старец Амвросий уже имел свое пребывание в Шамординской общине. Преосвященному Виталию очень хотелось видеть известного всему православному миру старца Амвросия, но, узнав, что старец живет в женской обители, медлил ехать в Оптину пустынь, ожидая возвращения старца в скит. Между тем время шло, а старец не возвращался. Это было неприятно владыке, тем более, что старец переместился в Шамордино без разрешения своего епархиального начальства.
Распространявшиеся недоброжелателями о. Амвросия нелепые о нем слухи по поводу его пребывания в Шамордине доходили и до владыки и смущали его еще более, так что он даже говорил с тревогою: «Что это у них там делается?», - и несколько раз поручал благочинному монастырей потребовать от старца немедленного возвращения в свой скит. Болезненный, умирающий старец, конечно, не мог исполнить этого распоряжения, но в Калуге не верили этому и принимали его слова за одну пустую отговорку. Старцу стали угрожать, что его силою отвезут в Оптину, на что он отвечал: «Я знаю, что не доеду до Оптиной; если меня отсюда увезут, я на дороге умру».