В последующие годы боярская оппозиция еще усилилась. Некоторые историки склонны были отрицать существование боярской оппозиции на том основании, что открытое сопротивление, с оружием в руках, не имело места здесь. Они, очевидно, смешивали Московское государство XVI века с французской монархией Людовика Одиннадцатого. Как известно, в тогдашнем русском обществе не существовало прочной организации социальных элементов, и борьба здесь имела совершенно особый характер: она не была коллективной и не могла силе противопоставить силу. Но там уже были такие, как Бельский, предлагавший помощь внешним врагам государства, надеясь при их поддержке вернуть свои прежние утраченные права, такие, как Мстиславский, показывавший татарам дорогу на Москву. Эти перебежчики и предатели были мятежниками.
Уже с 1554 года эмиграционное движение русского боярства принимает угрожающие размеры. В июле был схвачен по дороге в Литву князь Никита Дмитриевич Ростовский. Выяснилось, что вся его семья с обширной родней – Лобановыми, Приимковыми – вступила в сношения с польским королем. С точки зрения старых удельно-княжеских нравов в подобном образе действий не было ничего преступного. Князь Ростовский только воспользовался своим правом
Возможно, что положение Сильвестра и Адашева с этого момента поколебалось. Когда началась война, Сильвестр и Адашев стали на сторону бояр, высказавшихся против этого предприятия Ивана. Московской знати хотелось избежать беспокойств, связанных с войной. Кроме того, она была недовольна отступлением московской политики от старых традиций. Впрочем, Адашев еще играл некоторую роль в дипломатии до июля 1560 года, когда был удален от двора и послан в почетную ссылку: его отправили в Ливонию в качестве третьего воеводы большего полка. Одновременно с этим Сильвестр добровольно удалился в Белоозерский монастырь. Излагая историю Грозного, Курбский путает события и даты. По его изображению, опала Сильвестра и Адашева совпала с болезнью и смертью царицы Анастасии. По его словам, оба царских любимца были обвинены в отравлении царицы. Но Анастасия заболела в ноябре 1559 года, а умерла десять месяцев спустя, следовательно, уже после удаления Адашева и Сильвестра. Царица болела долго, что исключает мысль об отравлении. Если бы открылась их виновность в подобном преступлении, они понесли бы другое наказание. Правда, Сильвестр с Адашевым были привлечены к суду, но немилость никогда не постигает сразу. Иван не решился сразу обрушить на бывших своих любимцев всю тяжесть гнева. Они отделались легко. Один был послан в более отдаленный Соловецкий монастырь, другой был на короткое время заключен в тюрьму после недолгого пребывания в Феллине, в Ливонии, куда был послан сначала воеводой, но не сумел вести себя с должной осторожностью. Очевидно, судьи отвергли обвинение в отравлении царицы. Быть может, этот вопрос вовсе и не обсуждался. Ведь суд того времени предъявлял не слишком большие требования по отношению к достаточности улик. В припадках ярости Иван сам впоследствии обвинял своих неверных друзей в том, что они разлучили его с его «юницей». Но и тогда Иван призывал Сильвестра на суд божественного Агнца, не желая, по его словам, вступать с ним в тяжбу здесь, на земле.
В самих обвинениях Ивана было слишком много противоречий. То он упрекал своих незнатных друзей за то, что они стараются возвысить своих клевретов из аристократии до одного уровня с царем, то, напротив, корил их за то, что они стараются унизить их до собственного уровня. Иногда он даже поносил их за то, что они содействовали его реформам, и при этом указывал на самые дорогие для него преобразования, как, например, на обращение вотчин в поместья. Очевидно, все эти упреки, встречающиеся и в переписке с Курбским, являются лишь полемическим приемом, а в полемике Иван не заботился ни о точности выражений, ни о правде. Он всеми способами старался доказать, что в его правлении принимали участие посторонние руки, что уменьшало его ответственность за то, что происходило в его царствование. Для достижения этой цели Иван преувеличивал и извращал факты. Если верить ему, то Сильвестр и Адашев держали его под такой опекой, что даже устанавливали число часов, потребных для его сна! Он был как младенец, не имеющий своей воли. Этим Иван старался отразить упреки Курбского, жаловавшегося на непосильные труды, которые он несет. Кто же заставляет князя нести эти труды? Разве он сам не был вместе с попом и с «собакой Адашевым, поднятым из гноища» полновластным государем?