О причинах ухода Иоасафа источники ничего определенного не сообщают. В его отреченной грамоте назван формальный повод — «велика немощь». Скорее всего, отставка была вызвана некой обидой, нанесенной архиепископу великим князем. Об этом обмолвился новгородский владыка Геннадий (Гонзов) в письме Иоасафу: «Ты будешь нечто оскорблен от кого в телесном деле, да оставил архиепископью»[528]. Иоасаф имел чрезвычайно независимый и вспыльчивый характер. Несмотря на неоднократные приглашения Ивана III, он так и не приехал в Москву для разрешения конфликта. Архиепископ Геннадий упрекал Иоасафа в том, что он поставил личную обиду выше дела и покинул кафедру в такой опасный для Церкви момент: «…предал еси овци влъком на расхищение, а слыша такову беду церковную». По мнению новгородского владыки, Иоасаф должен был вооружиться терпением, а при приезде к великому князю — отстаивать свою позицию: «…могл бы еси и тамо крепость свою подържати, за что будешь оставил архиепископью»[529]. Однако это были запоздалые упреки, отставка состоялась, сам владыка Геннадий слишком поздно узнал о ней. В письме митрополиту Зосиме, датированном октябрем 1490 года, новгородский архиепископ жаловался на то, что ему ничего не сообщили об этих событиях: «…и они мене туто и в поминки не учинили; а се гонци ежеден гоняют о мелких делех, с Москвы до Новагорода, в три дни»[530]. По мнению владыки Геннадия, сразу после отставки Иоасафа нужно было собрать всех епископов для решения церковных проблем, но таких шагов не последовало.
Ответные послания бывшего ростовского архиепископа владыке Геннадию не сохранились. Поэтому мы не знаем о том, что думал сам Иоасаф по поводу происшедшего. Возможно, он действительно не смог смириться с нанесенным ему оскорблением. Возможно, не видел смысла далее оставаться при великокняжеском дворе. Великий князь уже не слушал своих бывших советников. Не имея возможности ничего изменить посредством церковной политики и дипломатии, ростовский владыка решил избрать путь молитвы. Он удалился на покой в Ферапонтов монастырь: «сниде в келию на обещание свое».
Архиепископ Иоасаф имел дар объединять вокруг себя незаурядных людей. Среди них был князь Константин Мангупский, грек, прибывший в Москву осенью 1472 года в свите невесты Ивана III Зои (Софии) Палеолог. В 1481 году Константин покинул двор великого князя и стал боярином ростовского архиепископа. Впоследствии он с разрешения владыки принял постриг в Ферапонтовом монастыре и через некоторое время основал собственную обитель близ Углича на реке Учме, прославившись как преподобный Кассиан Учемский[531].
Иоасаф хорошо знал Паисия (Ярославова) и Нила Сорского, в свое время именно он, как уже говорилось выше, дал старцу Нилу свое архиерейское благословение на основание скита. Поэтому именно к Иоасафу обратился архиепископ Геннадий с просьбой прислать старцев Нила и Паисия в Новгород. Владыка писал Иоасафу, когда тот уже не обладал властью архиепископа и мог просить старцев о помощи только как человек, находившийся с ними в тесных доверительных отношениях.
Архиепископ Иоасаф обладал безукоризненным художественным вкусом, что выдает в нем тонкую благородную душу. Все, что было выполнено по его заказу, поражает своим изяществом и красотой. В 1485 году в селе Бородава, что в окрестностях Ферапонтова, он построил небольшую деревянную церковь, которую освятил в честь праздника Положения Ризы Пресвятой Богородицы. Ее строительство совпало по времени с возведением в Московском Кремле каменного храма с таким же посвящением (1484–1485). Сельскую церковь украсили иконами лучшие русские мастера. По мнению историков искусства, главную икону с изображением храмового праздника написал Дионисий.
Храм был освящен 1 октября — в день Покрова Пресвятой Богородицы. Ризоположенскую церковь владыка Иоасаф настолько любил, что уже после своей отставки выхлопотал у нового ростовского владыки Тихона жалованную грамоту, освобождавшую ее клир от всех податей[532]. Ныне храм стоит в Новом городе Кирилло-Белозерского монастыря. Покоем и гармонией веет от стен этой древней бревенчатой церкви.