В 1553 году, вскоре после возвращения из казанского похода, он опасно занемог; ему предложили (вероятно, братья царицы) написать духовную и взять клятву в верности сыну своему, младенцу Димитрию, с двоюродного брата, князя Владимира Андреевича Старицкого, и бояр. Удельный князь не замедлил выставить права свои на престол по смерти Иоанна, мимо племянника Димитрия, вопреки новому обычаю престолонаследия, за который так стояли все московские князья. Когда некоторые верные Иоанну и его семейству люди вооружились за это против Владимира, Сильвестр принял сторону последнего, а отец другого любимца Иоаннова, окольничий Федор Адашев, прямо объявил себя против Димитрия, в пользу Владимира.
Для объяснения этого явления припомним, что Сильвестр и Адашев, пользуясь неограниченною доверенностию царя в выборе людей, необходимо, если бы даже и не хотели того, должны были составить при дворе и во всех частях управления многочисленную и сильную партию людей, которые, будучи обязаны им своим возвышением, своими должностями, разделяли с ними их стремления: так, известно, что Иоанн, избирая какого-нибудь сановника духовного, посылал Сильвестра поговорить с ним, изведать его ум и нравы; в делах военных и гражданских такое же влияние на выбор людей имел Алексей Адашев. Многие из вельмож, князей, видя невозможность действовать самостоятельно при решительном отвращении к ним Иоанна, примкнули к числу советников Сильвестра и Адашева; быть может, последние сами пошли к ним навстречу, чтоб иметь для себя опору в этих все же стоявших на первом плане людях; очень вероятно, что Сильвестр и Адашев действовали тут по прежним отношениям, прежним связям: летописец прямо говорит о давней и тесной дружбе Сильвестра с удельным князем Владимиром Андреевичем; Иоанн в переписке своей с Курбским главным единомышленником Сильвестра называет князя Димитрия Курлятева, или Шкурлятева, которого мы видели прежде в числе соумышленников Шуйского; с него летописец начинает исчисление вельмож, восставших против Воронцова; любопытно также, что скоро после московских пожаров, когда влияние Сильвестра особенно усилилось, Иоанн женил родного брата своего, князя Юрия, на дочери князя Димитрия Палецкого, также одного из главных советников Шуйского и подвергавшегося за это прежде опале. Влияние Сильвестра и советников его могло встретить препятствие только в одном близком к царю семействе – Захарьиных-Юрьевых; отсюда ненависть советников Сильвестровых к царице Анастасии и ее братьям, ненависть, могшая вызвать и со стороны последних подобное же чувство.
Советники Сильвестра сравнивали Анастасию с Евдокиею, женою византийского императора Аркадия, гонительницею Златоуста, разумея под Златоустом Сильвестра; Курбский называет Захарьиных-Юрьевых клеветниками и нечестивыми губителями всего Русского царства. И вот в случае смерти царя и во время малолетства сына его правительницею будет Анастасия, которая, разумеется, даст большое влияние своим братьям; советники Сильвестра объявляют решительно, что они не хотят повиноваться Романовым и потому признают наследником престола князя Владимира Андреевича.
Оставшийся верным Иоанну князь Владимир Воротынский и дьяк Иван Михайлович Висковатый начали говорить удельному князю, чтоб не упрямился, государя бы послушал и крест целовал племяннику; князь Владимир Андреевич сильно рассердился и сказал Воротынскому: «Ты б со мною не бранился и не указывал и против меня не говорил». Воротынский отвечал ему: «Я дал душу государю своему, царю и великому князю Ивану Васильевичу, и сыну его, царевичу князю Димитрию, что мне служить им во всем вправду; с тобою они ж, государи мои, велели мне говорить: служу им, государям своим, а тебе служить не хочу; за них с тобою говорю, а где доведется, по их приказанию и драться с тобою готов». И была между боярами брань большая, крик, шум. Больной царь начал им говорить: «Если вы сыну моему Димитрию креста не целуете, то, значит, у вас другой государь есть; а ведь вы целовали мне крест не один раз, что мимо нас других государей вам не искать. Я вас привожу к крестному целованию, велю вам служить сыну моему Димитрию, а не Захарьиным; я с вами говорить не могу много; вы души свои забыли, нам и детям нашим служить не хотите, в чем нам крест целовали, того не помните; а кто не хочет служить государю-младенцу, тот и большому не захочет служить; и если мы вам не надобны, то это на ваших душах».