Ливонская война началась и продолжалась по воле Ивана, вопреки желаниям всей знати. По свидетельству Курбского, после взятия Казани «все разумные люди» советовали Ивану остаться на некоторое время в покоренном городе. Но царь принял совершенно иное решение. Сопоставляя эти факты, мы видим, как подчинялся Иван влиянию своих приближенных. Что касается Сильвестра, то его роль определяется указанием, которое мы находим в его письме к митрополиту Макарию. Царь дал поручение Сильвестру сделать характеристику кандидатов в игумены. Когда он это сделал, царя не было в Москве, и дело оставалось без движения.
С того самого дня, когда Сильвестр и Адашев отказались выступить на защиту Димитрия, они потеряли расположение царицы Анастасии. Возможно, что преждевременная смерть молодой государыни оказала свое влияние на их судьбу. Быть может, падение их было вызвано какой-нибудь другой, неизвестной нам причиной. Этот период царствования Ивана остается довольно темным.
Последние годы жизни Сильвестра покрыты неизвестностью. Через два года после заключения в тюрьму Адашев умер. Курбский рассказывает, что одну польскую вдову заподозрили в преступных сношениях с Адашевым. Она была предана смерти вместе с пятью своими сыновьями. Были казнены также брат Адашева Даниил вместе со своим сыном и тестем Туровым, трое братьев Сатиных, сестра которых была замужем за Алексеем Адашевым. Иван начинал проводить свою систему массовых казней и истреблял своих врагов целыми семьями. Жестокость была свойственна той эпохе даже на Западе, но в казнях Ивана сказывались его темперамент и причуды полуазиатского деспота. Курбский упоминает о князе Михаиле Репнине, который однажды был приглашен в царский дворец на пир и отказался разделять общее веселье, сорвав с себя и растоптав ногами надетую на него маску. Через несколько дней после этого князь был убит по приказанию Ивана в церкви во время чтения Евангелия. Такая же участь постигла и Юрия Кашина. Не отрицая этих фактов, Иван утверждал, что никогда не осквернял храмов Божьих. В ту же пору, по словам Гуаньино, погиб еще один член аристократического рода, молодой князь Дмитрий Оболенский-Овчинин, который повздорил с новым любимцем царя, Федором Басмановым, и сказал ему: «Предки мои и я всегда служили государю достойным образом, а ты служишь ему содомией». Показания итальянца об этом случае расходятся со свидетельством Курбского.
Опала Сильвестра и Адашева распространилась и на их друзей, между прочим на князя Дмитрия Курлятева и других менее знатных представителей той же группы, их казнили и целыми десятками отправляли в ссылку. В числе их Курбским упоминается и князь Михаил Воротынский, сосланный в 1550 году в Белоозеро. В 1564 году он был вызван оттуда, но вскоре снова был отправлен на прежнее место. По словам Курбского, этот вельможа, прославившийся во многих битвах, был подвергнут пытке при допросе. Его жгли на медленном огне. Сам царь подгребал своим посохом к его телу горящие угли. После этого Воротынский будто бы умер по дороге в Белоозеро. В наших руках находятся официальные документы, из которых видно, что этот заточник жил в довольно комфортабельной обстановке. Он жалуется, что ему не присылают рейнских и французских вин, полагающихся ему по праву. Требует себе различных припасов: свежей рыбы, изюма, лимонов, чернослива. Это нужно ему для него самого, его семьи и двенадцати слуг, содержащихся, как и он, на государственный счет. Как видим, заточение Воротынского мало напоминало адские муки. Правительство Ивана с подобными людьми обходилось слишком гуманно. Трудно допустить, чтобы до ссылки их подвергали таким страшным мучениям.
В документах, относящихся к многочисленным процессам, связанным с делом Сильвестра и Адашева, нигде не упоминается ни о пытках, ни о казнях. Главным мотивом обвинения чаще являются попытки к «отъезду». Но дело обыкновенно оканчивалось предупредительными мерами. Обвиняемый обязывался не покидать государства и представить поручителей. Так было, например, с князем Василием Михайловичем Глинским в 1561 году, в следующем году с Иваном Дмитриевичем Бельским, представившим письменное поручительство двадцати девяти знатных лиц, за которых ручались в свою очередь 120 других лиц.
В разбирательстве подобных дел заключалось скрытое признание старинного права, на которое могли ссылаться обвиняемые. В принципе это право оставалось как бы не нарушенным, хотя в действительности уже утеряло свой смысл, но продолжало существовать, являясь аналогией той свободы, которую еще сохраняли вечно переходившие с одного места на другое крестьяне. С XV века стало развиваться эмиграционное движение, увлекавшее все классы общества. Совершалось оно из Московского государства в Польшу и обратно.