Помянутый случай во время болезни Ивана IV не изменил тогда же его отношений к Сильвестру и Адашеву, и около семи лет после того продолжалось их влияние на управление. Хотя Иоанн и сохранил неприятное воспоминание о сем случае, но, очевидно, не это обстоятельство послужило главною причиною его охлаждения к своим советникам и привело к полному с ними разрыву. Такою причиною была сама страстная натура Иоанна, глубоко испорченная небрежным воспитанием, дурными привычками и тревожными впечатлениями детства. В тяжелый момент, во дни московских пожаров и мятежа, захваченный врасплох и напуганный кровавым призраком народного мятежа, нервный юноша поддался обаянию сильных как бы вдохновенных речей и увещаний иерея Сильвестра, и быстро изменил свое поведение. Последующие успехи в делах государственных, особенно покорение Казани и победы над крымцами, разумеется, укрепили и усилили значение его советников. Но подобные натуры не могут совершенно переродиться. Дурные стороны характера, притихшие на время, мало-помалу пробились снова наружу и потом возобладали с неудержимою силою. При деспотических наклонностях, при понятиях о своей неограниченной власти, наследованных от отца и деда и усиленных преданиями византийскими, Иоанн начал все более и более тяготиться своими советниками. Его стала беспокоить мысль, что советники не дают ему ни в чем воли и продолжают им руководить, как будто он все еще остается несовершеннолетним. Вероятно, и со стороны Сильвестра также дело не обходилось иногда без излишнего усердия или увлечения своею ролью наставника и руководителя; так он, по некоторым данным, хотя и с благими целями, но, может быть, не в меру вмешивался в самый домашний быт государя, стараясь подводить его образ жизни и времяпровождение под известные рамки, хотя бы и построенные на правилах душевного благочестия и телесного воздержания. Сильвестр не только указывал ему на умеренность в пище и питии и в супружеских удовольствиях, но и вооружался иногда против слишком частых его поездок по ближним и дальним монастырям, поездок, которые свидетельствовали уже не столько о его внешнем благочестии, сколько о наклонности к беспокойной и в то же время непроизводительной для государства деятельности; отчего, конечно, страдали дела правительственные, подвергавшиеся несмотрению и задержкам. Нашлись, конечно, люди, которые заметили в настроении царя искры подозрительности и недовольства и постарались раздуть их в пламя. Известная беседа с ним Вассиана Топоркова в Песношском монастыре служит наглядным примером, в каком духе и смысле велись подобные внушения. Не было, вероятно, недостатка и в таких льстецах, которые указывали на какие-либо неважные промахи и уверяли, что когда царь начнет действовать только по собственному разумению, то дела пойдут лучше и вся слава его царствования будет принадлежать ему одному.
Наиболее важным поводом к разногласию между царем и его советниками послужили отношения крымские и ливонские. Известно, что они в 1559 году советовали воспользоваться упадком Крымской орды и доконать этого злейшего и непримиримого врага России; но царь оставил ее в покое и обратил свои силы на завоевание Ливонии. Адашев в это время, надобно полагать, ведал по преимуществу иноземные сношения, и мы видим его главным доверенным царским при переговорах с Ливонским орденом, предшествовавших войне. Но к самой этой войне, по-видимому, не лежало сердце у Сильвестра и Адашева; особенно не одобряли они варварского образа наших действий в Ливонии, т. е. ее опустошения и разорения, в котором самое деятельное участие принимали служилые татарские орды; а первое наше нашествие было произведено, как известно, под главным начальством касимовского хана Шиг-Алея; в последующих походах также являются иногда в числе предводителей татарские царевичи крещеные и некрещеные (Тохтамыш, Кайбула и др.). Вообще Иоанн показывал как бы особое сочувствие к своим служилым татарам. Наоборот, лучшие русские люди не питали к ним расположения и с неудовольствием смотрели на их варварский способ ведения войны. Сильвестр напоминал царю, что ливонцы христиане, и грозил ему Божьим наказанием за такое неистовое пролитие христианской крови. Но на сей раз Иоанн не внимал его увещаниям и показывал, что более не пугается «детских страшил»; так сам он называет обыкновение Сильвестра отвращать царя от какого-либо грешного деяния страхом Небесной кары.
Таким образом, в душе Иоанна постепенно накоплялась горечь против своих советников и руководителей, и только их великое нравственное превосходство пока сдерживало его стремление к ничем не обузданному самовластию. Тринадцать лет согласия — это большой срок для столь испорченной, деспотичной натуры, какова была Иоаннова. Но вот он подвинулся к тридцатилетнему возрасту, т. е. к периоду возмужалости, а вместе с тем к периоду полного развития своих страстей, дотоле подавляемых внутри себя, и потому вырвавшихся наружу с особою силою, когда не стало подле него смягчающего и умиротворяющего влияния его любимой супруги.