После воцарения Анны Иоанновны в 1730 году все члены семейства Долгоруковых оказались в опале. Она сослала всех братьев Долгоруковых, кто еще не умер, их детей и племянников, дочь Алексея Григорьевича, бывшую «государыню-невесту» Екатерину, его сыновей — Николая Алексеевича и, конечно, Ивана Алексеевича, бывшего фаворита Петра II. Отправлена была в ссылку и новобрачная жена князя Ивана Алексеевича — графиня Наталья Борисовна Шереметева, дочь генерал-фельдмаршала, графа Бориса Петровича Шереметева, соратника Петра I. Пострадали даже те Долгоруковы, кто и не присутствовал в Москве во время смерти Петра II и не был членом Верховного тайного совета Князь Сергей Григорьевич Долгоруков, родной брат Алексея Григорьевича, один из выдающихся дипломатов XVIII века, находился в Варшаве в качестве посланника Вызванный своими братьями, вернулся в Петербург и подвергся ссылке. Вместе с женой и детьми его направили на безвыездное житьё в Раненбург (в Рязанской губернии) под строгий надзор. Он был женат на дочери барона П. П. Шафирова, государственного казначея при Петре I, и тесть неотступно ходатайствовал о нём и его семье. Только через четыре года, в 1735 году, князь Сергей Григорьевич и его семья были полностью помилованы, его даже направили послом в Лондон, но не успел он уехать, как вскрылось дело о подложной духовной, он был арестован, подвергнут допросу и пыткам, а затем 8 ноября 1739 года в Новгороде вместе с братом Иваном Григорьевичем, племянником Василием Лукичом и племянником, бывшим фаворитом Иваном Алексеевичем, был казнён.
Князь Алексей Григорьевич Долгоруков, отец фаворита Ивана, был единственным, как уже было сказано, членом Верховного тайного совета, проголосовавшим против приглашения на трон Анны Иоанновны. Со всей своей семьёй он был сослан в Берёзов, где и умер в 1734 году, до обнаружения дела о подложном завещании, что и спасло его от страшной казни в 1739 году.
Такова была жизнь, деятельность и смерть князей Долгоруковых, проложивших путь князю Ивану Алексеевичу к российскому трону в звании фаворита и из-за него же и пострадавших.
Фаворит Петра II, князь Иван Алексеевич (1708–1739), внешне очень красивый молодой человек, но — увы! — не отличавшийся ни умом, ни прозорливостью, ни образованностью, ни воспитанием, зато кичившийся своим благородным княжеским происхождением, был очень заносчив, вёл себя так, будто заслуженными государственными мужами были не его родственники, а он сам. Как фаворит, князь Иван Долгоруков не был самостоятельным деятелем, он был полностью подчинён отцу, своим знаменитым дедам и дядьям и своим двоюродным братьям, а потому имел то влияние на императора Петра II и на ход государственных событий, какое ему подсказывали его родственники.
Вот как характеризует его герцог Лирийский в своих воспоминаниях: «Ума в нём было очень мало, а проницательности никакой, но зато много спеси и высокомерия, мало твердости духа и никакого расположения к трудолюбию; любил женщин и вино… хотел управлять государством, но не знал, с чего начать; мог воспламеняться жестокой ненавистью; не имел воспитания и образования».
Фаворитом он стал не по своему желанию, а по воле отца, который через своих родственников Долгоруковых и всесильного фаворита Екатерины I Александра Даниловича Меншикова сумел пристроить 18-летнего Ивана гоф-юнкером к 12-летнему великому князю Петру Алексеевичу (будущему императору Петру II).
Великий князь Пётр Алексеевич, сирота-отрок, имевший только одного родного человека, сестру Наталью, которая была всего лишь на один год старше его и которая умерла в 1728 году, сразу привязался к молодому красивому юноше, который уже пользовался славой победителя девичьих сердец, но по своему развитию (уму и образованию) недалеко ушёл от отрочества Когда Меншиков поселил великого князя у себя в доме и стал домогаться обручения его со своей дочерью, княжной Марией Александровной, князь Иван не одобрил этого посягательства Меншиков, увидя препятствие своему плану со стороны князя Ивана, настоял на переводе его в полевые полки. И таким образом добился обручения отрока со своей дочерью. Долгоруковы не могли простить худородному Меншикову его возвышения и такого отношения к ним, Рюриковичам. Они окружили Петра II вниманием и рекомендовали князю Ивану крепко подружиться с царём.
Маленький император чувствовал себя с князем Иваном и в кругу семейства Долгоруковых раскованно, как взрослый, сильно привязался к своему другу-фавориту и стал ему во всём подражать: стал заносчивым, высокомерным, спесивым, не желал овладевать науками, не признавал никаких норм поведения, а хотел праздно и весело проводить время: с вином и женщинами. Он полностью доверял своему фавориту Ивану и слушался его.