Потерю инициативы в Ливонии (царь считал, что за эти годы можно было завоевать всю Германию) возложили на Адашева. Иван Грозный направил его воеводой в Ливонию. Здесь, в Юрьеве (Дерпте), его взяли под стражу, затем посадили под домашний арест. Вскоре Адашев умер. Сильвестр, остававшийся в Москве, старался предотвратить отставку Адашева. Но его старания оказались безрезультатными. Он отправился в монастырь.
Время спрессовалось в калейдоскопе событий. Неудачи во внешней политике нанесли серьезный удар по психике Ивана. Усугубила его состояние и смерть 7 августа 1560 г. любимой жены Анастасии. Позднейший летописец записал: «Умершей убо царице Анастасии нача царь яр быти и прелюбодействен зело». Действительно, поведение Ивана в это время не поддеются здравому смыслу Царь как бы вырвался из моральных оков, в которых его держали Адашев и Сильвестр. Что считалось при Сильвестре хорошим тоном, теперь подвергалось осмеянию. Во дворце устраивались постоянные попойки. На них приглашали недоброжелателей бояр и заставляли пить за здравие государя. Иван говорил, что играми и потехами он добивался популярности у народа: «Ибо вы много народа, – пишет царь Андрею Курбскому, – увлекли своими коварными замыслами, устраивал я их для того, чтобы он нас, своих государей, признал, а не вас изменников…». Рядом с царем теперь оказались новые советники-любимцы: боярин Алексей Басманов и его сын Федор, князь Афанасий Вяземский, Малюта Скуратов, Вельский, Василий Грязнов и чудовский архимандрит Левкий.
Иван, по их совету, через несколько дней после смерти Анастасии сватался к сестре польского короля Сигизмунда Августа Екатерине. Но это сватовство не удалось. Король, хотя и не отказывал государю в руке своей сестры, потребовал «в качестве свадебного подарка» заключить мир и передать Польше Новгород, Псков, Смоленск и Северские земли. Добиваться руки полячки было бессмысленно. Иван вскоре женится на дочери кабардинского князя Темрюка. При крещении она получила имя Мария. Затем он женился на Собакиной Марфе Васильевне, Колтовской Анне Алексеевне, Васильчиковой Анне Григорьевне, Мелентьевой Василисе и Нагой Марии Федоровне. Сватался Иван Грозный и к племяннице английской королевы. Царь имел детей от Анастасии – три сына и три дочери. Дочери и сын Дмитрий умерли в малолетнем возрасте. Сын Иван достиг зрелого возраста. Женился. Иван Грозный готовил его в свои преемники, но во время ссоры ударил сына посохом. Через несколько дней молодой Иван умер. Причиной ссоры отца и сына, по одной из версий, стала невестка Грозного. Якобы она, будучи беременной, сидела в горнице в одной рубахе, когда туда вошел царь (следовало надевать три). Иван Грозный стал ее бранить. Его сын стал защищать жену. Царь в порыве гнева ударил его посохом. Существует версия и о том, что Грозного стал беспокоить возраставший авторитет сына. Как бы там ни было, но царь Иван горько оплакивал трагическую гибель своего наследника. Полоумный сын Грозного Федор после смерти отца станет царем (он умер в 1597 г.). Мария Темрюковна родила Ивану Грозному дочь, которая умерла в раннем возрасте. У Марии Нагой родился сын Дмитрий, который погибнет в 1591 г., в припадке эпилепсии упав на нож. В начале XVII столетия это имя всплывет в образе Лжедмитрия первого, а затем и второго.
Между тем, польский король, взяв под свой протекторат Ливонию, сосредоточил на границе с Россией значительные вооруженные силы. Однако развернувшаяся борьба Дании и Польши против Швеции не позволяла Польше вести активные действия против России. Иван IV, пользуясь разногласиями между противниками, решил развернуть активные действия в Литве, направив свои войска на Полоцк, который открывал дорогу на Вильно. Через этот город проходили важные торговые пути.