А через полгода его постигает новая опала. Погубил Воронцова случай. Когда в 1546 году во главе отряда московских войск, отправленных навстречу крымцам, находился сам Иван IV, его однажды остановили новгородские пищальники и стали о чем-то бить челом, Иван велел своим слугам отослать их, при этом между ними завязалась борьба, и несколько человек было убито. Иван IV велел своему дьяку, Василию Захарову, расследовать дело. Усердный дьяк донес, что новгородские пищальники действовали по наущению Воронцовых – Федора и его двоюродного брата Василия Михайловича, а также князя Ивана Ивановича Кубенского. Летописцы говорят, что дьяк оклеветал бояр, и что Федор Семенович виновен был только в желании управлять государством без всякого вмешательства царя. Тем не менее к оговору также были присоединены обвинения в мздоимстве, и по приказанию Ивана IV обвиняемые были казнены, а их близкие люди отправлены в ссылку.
А вот сын Воронцова Василий служил воеводой во время Ливонской войны и в тяжелую годину остался до конца верным своему долгу и пал с оружием в руках, сражаясь с неприятелем.
Другие Воронцовы той эпохи тоже не остались незамеченными летописцами и историками. Дмитрий Семенович Воронцов (ск. 1537) – служил воеводой у Московских князей Василия III и Ивана IV, был наместником в Пскове (1534). Дмитрий Семенович Воронцов – потомок в IX поколении от боярина Протасия Федоровича, общего предка Воронцовых и Вельяминовых, второй сын Семена Ивановича Воронцова. В 1519 году во время похода на Смоленск, был полковым воеводой в Дорогобуже. В 1520 году был в числе других воевод в Серпухове, а в 1521 году был в Мещере. В 1530 году был командиром сторожевого полка конной рати во время похода на Казань. В мае 1531 года уже был в Северской земле на Клевени. Обычный славный путь доброго солдата-воина, хотя и боярина. А при малолетнем царе Иване IV в ноябре 1535 года водил на Литву полк правой руки. В апреле 1536 года участвовал в основании крепости Велиж. В июле 1537 года стоял под Нижним Новгородом, в связи с угрозой со стороны Казанского ханства. Вместе с ним служили его братья бояре Михаил, Иван-Фока и Федор. Был у него сын Иван Чуха, но вот о нем история сохранила мало сведений.
Михаил Семенович Воронцов, брат Дмитрия Семеновича, (ск. 1539), боярин (с 1531) и тоже воевода. В 1513 году во время похода на Смоленск, участвовал в разорении литовских земель от Орши и Друцка до Браслава. А в 1514 году во время похода Василия III на Смоленск стоял в Туле для защиты от нападения со стороны крымского ханства, как второй воевода полка правой руки. Михаил Семенович Воронцов в 1517 году стоял на Мещере, на Толстике с передовым полком, откуда послан на реку Вашана. В 1519-м Михаил Воронцов был уже вторым воеводой под командованием князя И. М. Воротынского на берегу Оки и в Мещере. Также он присутствовал как ближний боярин при составлении духовной грамоты Василия III. Именно он настойчиво противодействовал предсмертному пострижению великого князя.
В июне 1521 года Михаил Семенович Воронцов находился в Мещере. А в 1524 году ходил как второй воевода с большим полком под Казань. В июле 1531 года стоял на берегу Оки на Девиче третьим воеводой. Участвовал в Казанском походе (1524), где уже командовал отдельным отрядом.
Во время правления Елены Глинской (1533–38) являлся одним из ближайших помощников М. Л. Глинского в управлении государством, а в 1534 году вместе с ним был посажен в темницу, в 1535-м прощен.