Во время «Кирилловского езда» Иван Грозный посетил Песношский монастырь на реке Яхроме, где обитал бывший епископ Коломенский Вассиан. Когда-то он был одним из ближайших советников Василия III, но во времена междуцарствия лишился епархии. Царь захотел посоветоваться с ним об управлении государством, и Вассиан подал царю недобрый совет: «Аще хочеши самодержцем быти, не держи себе советника ни единого мудрейшего себя, понеже сам еси всех лучше; тако будеши тверд на царстве и всех иметь будеши в руках своих». Иван Грозный усмотрел здесь намек на Сильвестра и Избранную раду, слова Вассиана оказались созвучными мыслям и самого Ивана Грозного. К концу 1550-х годов Иван Грозный начал выходить из-под влияния Сильвестра. Этому способствовало и то, что благовещенского попа не любили царица Анастасия и ее родичи Захарьины.
Летом 1560 года в июльскую жару в Москве вспыхнул пожар, который, по словам Карамзина, «стоил битвы». Загорелось на Арбате, затем ветер перебросил огонь на Кремль. Царица Анастасия была в то время больна и лежала в кремлевских палатах. Царь немедля отправил жену из пылающей Москвы в свое подмосковное имение Коломенское, но от пережитого испуга царица совсем разболелась и в начале августа умерла. Иван Грозный любил Анастасию. Она одна могла умерять его злобу, сдерживать приступы ярости, успокаивать болезненную подозрительность. Со смертью Анастасии грозный царь утратил те немногие добрые начала, которые были в его душе.
Захарьины пустили слух, что Сильвестр и Адашев извели царицу колдовством или отравой. Царь, может быть, в такой навет и не поверил, но воспользовался предлогом, чтобы избавиться от своих советников. Адашев был отправлен воеводой на границу с Ливонией, Сильвестр заключен в далекий Кирилло-Белозерский монастырь. Удалив Сильвестра и Адашева из Москвы, царь созвал Собор для суда над ними. Сильвестр и Адашев обратились к царю с просьбой дать им возможность встретиться с обвинителями лицом к лицу и оправдаться, но их послания были перехвачены Захарьиными и не дошли до царя. Митрополит Макарий тщетно пытался убедить царя, что такой заочный суд несправедлив, митрополита поддержали многие бояре, но все было тщетно. Собор осудил Сильвестра и Адашева как «ведомых злодеев» и «чаровников».
Адашев, находившийся в пограничном городе Юрьеве, был взят под стражу и вскоре умер, Сильвестр переведен в Соловецкий монастырь и приговорен к вечному заточению. Их сторонников заставили принести присягу прервать всякие сношения с недавно всесильными советниками царя.