Крымский вопрос еще более разъединил царя Ивана с людьми Сильвестровой партии. Их влияние, видимо, упадало. Ливонская война велась против желания многих, хотя некоторые из них, исполняя долг службы, не только участвовали в ней, но даже своими подвигами решали ее в пользу Москвы. Рыцари претерпевали поражение за поражением, город сдавался за городом; наконец в 1559 году Ливонский орден заключил договор с Сигизмундом-Августом, по которому отдавал ему часть своих владений и просил содействия против московского государя. Это событие готовило неизбежное столкновение с Польшей, и уже Сигизмунд-Август в следующем 1560 писал царю Ивану, что должен будет оружием защищать страну, которая отдалась ему в подданство. Царь отвечал на это высокомерно: называл ливонцев, отдавшихся Сигизмунду-Августу, изменниками и требовал, чтобы Сигизмунд-Август вывел своих воевод с ливонской земли. Русские между тем продолжали счастливо войну с Ливонией. В этой войне отличались преимущественно друзья Сильвестра: Курбский и Данило Адашев.