Из сыновей Г. Ф. Долгорукова Алексей, отец фаворита и «государыни-невесты», и в самом деле не выделялся никакими, даже царедворческими, способностями. Именно это обстоятельство повлияло на решение А. Д. Меншикова доверить А. Г. Долгорукову обязанности воспитателя малолетнего императора, решение, роковое для «светлейшего». Не надо было хватать с неба звезд, чтобы найти дорогу к сердцу беспутного и капризного мальчишки, потакая всем его прихотям и не насилуя никаким воспитанием пли обучением. Меншиков легко оказался вытесненным из дворца. Привязанность Петра II к Ивану Долгорукову оказывается настолько сильной, что он не расстается с любимцем даже ночью, заставляя спать в своей спальне. Долгоруковы в полном смысле слова и днем и ночью караулят императора, одновременно добиваясь укрепления своих позиций при дворе.
У И. А. Долгорукова на первом месте мечты о женитьбе. Она должна утвердить его положение, принести состояние, но и отвечать легко менявшимся вкусам. Сначала в центре его внимания сама цесаревна Елизавета Петровна, и только далеко не родственная симпатия коронованного племянника к молоденькой тетке заставляет фаворита отказаться от рискованной затеи. Не слишком переживая неудачу, И. А. Долгоруков сватается к дочери П. Я. Ягужинского, но в ходе сватовства обращается к проекту женитьбы на дочери Миниха. Нечего было и думать, чтобы кто-то из родителей мог ответить отказом официальному фавориту, к тому же готовившемуся породниться с императором. Последней избранницей И. А. Долгорукова становится дочь фельдмаршала, шестнадцатилетняя Наталья Борисовна Шереметева. Обручение молодых происходит в последних числах декабря 1729 года в шереметевском доме.
Последующие события стали разворачиваться с кинематографической стремительностью. Через полтора месяца после обручения Петра II уже нет в живых, и из Митавы в Москву торжественно прибывает вновь избранная императрица Анна Иоанновна. Въезд происходит 10 февраля 1730 года, 22 февраля по просьбе шляхетства Анна уничтожает составленные «верховниками», и в их числе Долгоруковыми, «Кондиции». Осуждение Долгоруковых еще не могло коснуться необвенчанной с женихом Н. Б. Шереметевой. Наоборот, ее предупреждают о тяжелых последствиях подобного брака: она станет членом опальной семьи, безо всякого снисхождения и исключений.
В своих знаменитых «Записках», редком по откровенности и силе чувств биографическом документе, Н. Б. Шереметева признается, что решение венчаться несмотря ни на что с былым фаворитом подсказывалось не столько сердцем – жениха она толком и не знала. Главное слово сказала совесть – невозможность отказаться от слова, данного человеку в пору счастья и благополучия. Больше напоминавшая похороны, свадьба состоялась, Н. Б. Долгорукова-Шереметева последовала за семьей мужа. Сначала местом их ссылки были назначены «дальние деревни», почти сразу замененные Березовом. Долгоруковым предстояло кончить свои дни там же, где их усилиями был заключен и погиб Меншиков.
«Записки» рассказывали не только о трудностях ссылки, жестокости обращения солдат и надсмотрщиков со вчерашними некоронованными правителями России, но и о раздорах, царивших в долгоруковской семье, о взаимной ненависти братьев и сестер, особенно былого фаворита и «порушенной государыни-невесты», как ее официально называли документы, о постоянных ссорах и обидах. Первой не выдержала П. Ю. Долгорукова-Хилкова. Внучка касимовских царевичей умерла в Березове в 1730 году, спустя четыре года за ней последовал ее муж. Родители не узнали, что в 1740 году семье пришлось пережить еще одно, и притом самое тяжелое, испытание. Решением императрицы было возобновлено следствие по их «делу» с применением всех самых жестоких и изощренных пыток, которыми только располагал тогдашний Тайный приказ.
Следователям удается добиться новых, еще больше отягчавших Долгоруковых показаний. Так, выясняется, что "князь Александр брату своему князь Ивану Алексееву сыну говорил: "Подьячий де Тишин хочет на него князь Ивана доносить, будто де он князь Иван бранил государыню и говорил: «Какая де она государыня, она – Шведка; мы де знаем, за что она Бирона жалует... а ныне де выбрана государынею». Долгоруковы повинились и в том, что толковали между собой: "Государыня де императрица государыню цесаревну наказывала плетьми за непотребство, что она от Шубина [родила]. И помянутый де Тишин говорил: «Я де бывал у Мошкова в интендантской конторе у дел и видел прижитых от государыни цесаревны двух детей мужеска и женска полу». Подобный разговор представлялся тем опаснее для Анны Иоанновны, что поднимал вопрос о существовании новых претендентов на императорский престол, помимо назначаемых ею в наследники детей от племянницы – правительницы Анны Леопольдовны.