И вдруг разразилась катастрофа — умер Петр II и воцарилась Анна. «Куда девались искатели и друзья? — писала Наталья Борисовна. — Все спрятались, и ближние отдалече меня сташа, все меня оставили в угодность новым фаворитам; все стали уже меня бояться, чтобы, я в стречу кому не попалась, всем подозрительна». С твёрдостью необыкновенной она отвергла предложения родни оставить князя Ивана и выйти за другого («Я такому бессовестному совету согласиться не могла; а так положила свое намерение, когда, отдав сердце одному, жить или умереть вместе, а другому уже нет участья в моей любви»).
Печальной была свадьба в начале апреля 1730 года в Горенках, подмосковном имении Долгоруких. Лишь две старушки вдовы сопровождали Наталью Борисовну, остальные родные не осмелились появиться у опальных Долгоруких.
Никто из родных не пришел и проводить новобрачных, когда они по весенней распутице двинулись по рязанской дороге в ссылку. Не успели Долгорукие добраться до родовой касимовской вотчины Семицы, как туда явился офицер с отрядом солдат, и началось долгое и мучительное путешествие семейства сначала в Тобольск, а оттуда в Березов под надзором капитана сибирского гарнизона Петра Шарыгина. («Какой этот глупый офицер был: из крестьян, да заслужил чин капитанский; он думал о себе, что он очень великий человек, и сколько можно, надобно нас жестоко содержать, яко преступников, — писала Наталья Борисовна. — Ему казалось подло с нами и говорить; однако со всею своею спесью ходил к нам обедать»).
После долгого и тяжелого пути униженные Долгорукие прибыли в ледяной Березов, где их поместили в остроге, в ограде которого находился маленький одноэтажный деревянный дом, ветхий и почти без мебели. Наталья Борисовна с мужем поселилась в сарае. Всем им было запрещено выходить за ограду острога. Бумаги, книг и чернил давать было не велено. В праздничные дни под вооруженным конвоем их водили в церковь. Жили Долгорукие в постоянных ссорах и препираниях. Особенно невыносимы были старый князь и «государыня-невеста». Кроткая княгиня Прасковья Юрьевна, жена князя Алексея, не перенесла физических и нравственных страданий, она скончалась осенью 1730 года, через два месяца после приезда в Березов. Алексей Григорьевич последовал за ней в 1734 году. Главой семьи остался князь Иван.
А тем временем Бирон и Анна искореняли и остальных Долгоруких. В декабре 1731 года по доносу одного из немецких генералов фельдмаршала Василия Владимировича и его жену арестовали. Его обвинили в том, что он оскорблял императрицу «поносительными словами». Сенат и генералитет собрались и с обычной угодливостью вынесли князю Василию и его «сообщникам» — племяннику Георгию Долгорукому, князю Алексею Барятинскому и гвардейскому офицеру Георгию Столетову смертный приговор. Анна «милостиво» заменила казнь тюремным заключением: фельдмаршала отправили в Шлиссельбургскую крепость, остальных — в сибирские остроги. Брат фельдмаршала Михаил Владимирович, вначале назначенный губернатором в Астрахань, был послан в дальнее имение вместе со своим старшим сыном, а его младшие сыновья были отданы в солдаты без права производства в офицеры (самого младшего, Василия, было запрещено учить грамоте, и будущий московский генерал-губернатор до конца своих дней едва-едва мог подписываться).
На некоторое время о Долгоруких как бы забыли. Князь Иван и его братья жили в Березове. Наталья Борисовна воспитывала сына Михаила, родившегося в 1731 году, и готовилась к рождению второго — Дмитрия. Василий Лукич («самый воспитанный и располагающий к себе из всех русских», по отзыву одного из иностранных дипломатов) содержался в Соловецком монастыре.
Но вот наступила вторая половина царствования Анны Иоанновны. Шла долгая и неудачная война с Турцией, когда русская армия страдала не столько от неприятеля, сколько от собственных казнокрадов, жестоких генералов и двуличия союзной Австрии. Финансы находились в расстройстве — немецкие фавориты императрицы и нелепая, варварская пышность двора опустошали казну. Не знали предела административный произвол и лихоимство чиновников в провинциях. Голод, пожары и разбои вспыхивали повсеместно. Бироновщина вошла в полную силу, и поскольку сознательно или подсознательно она ставила целью уничтожение и унижение национальных петровских стремлений, то острие ее обращалось в первую очередь против тех родовитых русских, само существование которых будило надежды на возрождение России и продолжение дела преобразователя, на прекращение состояния, когда Россия становилась дойной коровой для курляндских и голштинско-мекленбургских проходимцев.