Незадолго до кончины старца прошел слух, что батюшку о. Иосифа хотят удалить из церкви и поместить в братской келии, в скиту. Многих это очень встревожило, и ему стали говорить: «Что же вы не съездите к батюшке? Дождётесь, пока вас выведут». Но о. Иосиф со свойственным ему спокойствием возразил: «Вот когда велят выходить, тогда и съезжу к батюшке; ведь без его благословения всё равно отсюда не могу уйти; а жить мне и в скиту будет хорошо за его молитвы». Так его смирение никогда не боялось никаких притеснений; смиренному везде хорошо, и он на всё с радостью бывает готов. Однако старца Амвросия этот слух встревожил, и он посылал разузнать; после этого всё смолкло.
В сентябре 1891 г. старец заболел. Болезнь сначала сочли за пустячную, и никто особенно не испугался. Но батюшка о. Иосиф в Оптиной, в бодрственном состоянии, слышал трижды повторенные слова: «Старец умрёт». По обычному своему смирению он никому об этом не сказал и, боясь доверяться подобным откровениям, не придавал этому значения и даже не поехал в Шамордино.
Но 8 октября старцу стало так плохо, что послали за о. Иосифом. Когда он приехал, то старец от слабости почти не говорил. Он молча указал на исповедальную книжку, которую о. Иосиф и прочёл с глубокой горестью. Вечером старца торжественно особоровали; а на утро в последний раз о. Иосиф приобщил старца, как это всегда он делал в Оптиной. Нужно было видеть с каким благоговейным чувством он исполнил эту последнюю службу своему авве!…
В 11:30 дня 10 октября великий старец отец Амвросий скончался, оставив по себе великое множество плачущих. Но скорбь его ближайшего ученика, 30 лет жившего его волей и питавшегося его учением, была, несомненно, тяжелее всех. И вот в эти-то невыносимо скорбные минуты обнаружилась во всём величии его мужественная крепкая душа. В то время, когда многие, весьма духовные люди, были потрясены этою преждевременною, как казалось, кончиною, один он ни на минуту не потерялся и не упал духом, но ещё утешал и укреплял других.
В нём с первого раза многие нашли себе пристанище и поддержку духовную и почувствовали, что дух почившего батюшки о. Амвросия живёт в новом старце.
Когда возник вопрос о том, где предать погребению тело скончавшегося старца Амвросия, то много было по этому поводу волнений. Большинство высказывалось за то, чтобы похоронить старца в Шамордино, так как обитель эта основана и устроена его трудами и заботами, и ради её блага старец и переехал в неё жить. С этим соглашался даже настоятель Оптиной Пустыни. Того же мнения держался и сам преосвященный Калужский Виталий. Батюшка о. Иосиф, как преданный сын Оптинской обители, конечно, не мог не желать, чтобы его великий учитель был положен в семье оптинских старцев, но по своей преданности и любви к почившему, тотчас же после его кончины, проникся особенной жалостью к осиротелой Шамординской обители, и потому также выразил своё согласие уступить тело старца. Но законные права имела, без сомнения, Оптина Пустынь, и владыка не решился взять на себя ответственность и послал телеграмму в святейший Синод.
В это время старец Иосиф велел всем сёстрам особенно молиться, чтобы Господь расположил сердца начальствующих положить тело старца в их обители. Но когда из Синода получена была ответная телеграмма с решением передать тело погребению в Оптиной Пустыни, то батюшка о. Иосиф не позволял больше никому восставать против распоряжения высшей власти; и немощных, ропщущих и негодующих строго останавливал, говоря: «Ведь молились и не вышло так; не без воли же Божией это сделалось, — значит так надо».
Отпевание усопшего было совершенно в храме Шамординской обители преосвященным Виталием 13 числа, а на другой день тело старца было торжественно перенесено в Оптину Пустынь. Несмотря на дождь и ветер, свечи не гасли всю дорогу. Уже темнело, когда шествие приближалось к Оптиной, и колокол загудел, созывая братию на встречу своему бездыханному отцу и наставнику. Далеко за паромом поспешно шел одинокий инок. Лицо его было печально, губы шептали молитву… То был любимый ученик усопшего старца и его преемник старец о. Иосиф. Его авва, который воспитал его духовно, возвращался после долгой разлуки, но, увы, возвращался не в скит, не в хибарку, не для жизни и новых наставлений, а возвращался, дабы лечь рядом с дорогими останками своих великих учителей — старцев Льва и Макария.
В день погребения, 15 октября, преосвященный Виталий нового старца наградил набедренником. После обеда владыка, проходя мимо свежей могилы и увидев около неё толпу монахинь, обратился к ним с вопросом.
— Шамординские сёстры, кого же вы теперь изберёте себе старцем, — наверное о. Иосифа?
— Благословите, владыко святый, — отвечали они.
— Бог благословит, — сказал владыка.