У него было двое сыновей – Фриянд и Шимон. Якун Слепой изгнал из отечества своего племянника – Шимона, который привел в 1027 году в Киев к великому князю Ярославу Мудрому около 3 тысяч варягов и нескольких латинских священников. Все они впоследствии приняли православную веру. Шимон уже под именем Симона стал служить в Киеве и вскоре сделался первым вельможей сына Ярослава Всеволода. Сын Симона Юрий упоминается около 1157 года тысяцким в Ростове. Полной записи потомков Шимона, крестившегося как Симон, не существует. Но такая запись ведется от боярина Протасия Федоровича. От имени его сына Вениамиана (Вельямина) Протасьевича образована фамилия Вельяминовы. Непосредственный родоначальник Воронцовых, внук Вельямина Протасьевича –
До боярина Протасия Федоровича родословцы не могут проследить поколенную роспись Воронцовых – не сохранилось достоверных исторических сведений – и лишь с него, с Протасия, начинается беспрерывная родословная рода, давшая России бояр, воевод, дипломатов и политических деятелей самого высокого ранга.
Как уже упоминалось, Воронцовы как самостоятельный дворянский, графский и княжеский, род происходили от боярского рода Протасьевичей (ведущего начало от легендарного тысяцкого князя Ивана Калиты). Родоначальник всей последующей «фамилии» – Федор, по прозвищу Воронец. Его правнуком был Семен Иванович Воронцов, скончавшийся в 1518 году, с которого, собственно, и началось возвышение рода. В сентябре 1505 года он возглавлял полк левой руки при обороне Нижнего Новгорода от татар, в 1505–06-м, став боярином и воеводой, участвовал уже в походе против Казанского царства, а в 1514-м командовал запасным полком на реке Угре.
Истории известны его сыновья: Федор Семенович Воронцов (ск. 1546). В некоторых сохранившихся летописях он значится также под именем Демид, боярин (1544) и думный советник. В августе 1528 года стоял в Вязьме. В августе 1530 года был на берегу Оки, против Люб ли на. В 1531 году – второй воевода полка правой руки у Одоева, для защиты со стороны Крыма. Участвовал в 1531 и 1532 годах в двух посольских комиссиях: о делах казанских и отправленной в Литву для размена грамот.
В правление Елены Глинской и Шуйских видной роли не играл, но ему удалось снискать любовь подрастающего Ивана IV. Храбрый воин и «талантливый руководитель», говоря современным языком, после свержения Шуйских в княжестве 1543-го занял главенствующее положение в правительстве малолетнего Ивана IV Грозного. Это факт, конечно, не мог остаться без внимания со стороны многочисленного рода Шуйских, также претендовавшего на ведущие роли при дворе Ивана Грозного. Федор Семенович Воронцов был подвергнут «унижению» со стороны Шуйских и даже сослан в Кострому в 1543 году. Но фортуна переменчива, а царская ласка и опала идут рука об руку, и после низвержения Шуйских, Воронцов был возвращен ко двору. В конце того же года подвергся опале и казни глава Шуйских – Андрей, и Иван IV тотчас же вернул из ссылки своего любимца и назначил его главным советником. Но слаб человек, обретя власть, Воронцов начал злоупотреблять ею – желая править неограниченно при малолетнем 14-летнем царе. В летописи сохранились записи о том, что каждый раз, когда Иван IV «вмешивался» в государственные дела или жаловал кого-то из бояр, Воронцов страшно гневался и гнев его был «долог и страшен». Терпение царя лопнуло, и в октябре 1545 года Воронцов вновь был удален от двора. На этот раз его спасло заступничество митрополита Макария, и через некоторое время своенравный вельможа был возвращен.