Если бы Наталья знала о пьяной болтовне мужа, то непременно пресекла бы его похождения в город. Но бедная женщина ни о чем не знала. О том, что муж путается с берёзовскими девками, она и знать не желала.
Проживал в городе таможенный подьячий Тишин. Ему приглянулась бывшая царская невеста княжна Екатерина Долгорукова. Однажды, изрядно выпив, Тишин попытался склонять девицу к сожительству, а та не придумала ничего лучше, как пожаловалась на подьячего Овцыну. Поручик изрядно поколотил невежу. Избитый Тишин поклялся жестоко отомстить обидчикам: он написал кляузу сибирскому губернатору Петру Ивановичу Бутурлину, в которой особо указал на послабления ссыльным и на болтовню Ивана Алексеевича, порочившую царскую фамилию.
Окружение губернатора решило подослать в Берёзов шпиона и выведать, что там происходит. Лазутчиком выбрали лейб-гвардии Преображенского полка капитана-поручика Федора Ивановича Ушакова (1693—1766), родственника сенатора и начальника Канцелярии тайных и розыскных дел графа Андрея Ивановича Ушакова. Лазутчик прибыл в Берёзов инкогнито. Он быстро втерся в доверие к местным обывателям, разузнал о похождениях и болтовне Долгорукова и поспешил с докладом в Тобольск. Вскоре после его отъезда от Бутурлина было получено предписание закрыть Ивана Долгорукова в отдельной от семьи землянке и посадить его на хлеб и воду.
Наталья на то время была на сносях. Ей удалось разжалобить стражников, и четыре месяца каждый вечер женщина тайком пробиралась к мужу, чтобы передать ему ужин. Все эти треволнения привели к тому, что Наталья Борисовна родила психически больного сына Дмитрия, ставшего причиной ее дополнительных страданий на всю жизнь.
Глухой августовской ночью 1738 г. в Берёзов пришло судно с военным отрядом. На него спешно погрузили Ивана Алексеевича, братьев его, сестру Екатерину и еще около 60 горожан и гарнизонных из острога. Наталье Борисовне не разрешили даже проститься с супругом. Арестантов увезли в Тобольск.
О жизни княгини в последующий год сохранились разные слухи. Говорили, будто ее с младенцем на руках бросили в тюрьму-землянку вместо мужа. Но говорили и о том, что жила она все это время в меншиковском доме вместе с родичами – сестрами брата Еленою и Анною.
9 апреля 1740 г. в Березов прибыла научная экспедиция французского астронома Жозефа Никола (Осипа Николаевича) Делиля (1688—1768). Француз оказал семье Долгоруковых огромную помощь, остудив пыл местного начальства против ссыльных.
26 апреля 1740 г. в Санкт-Петербурге вышел указ императрицы Анны Иоанновны о помиловании княгини Натальи Борисовны Долгоруковой и ее детей. Экспедиция Делиля отбыла из Берёзова 22 мая, а 17 июля француз встретил семейство уже в Тобольске. Он-то и поспособствовал скорейшему отправлению Долгоруковых в Москву.
Тем временем начался розыск по делу Ивана Алексеевича. Возглавил его Ушаков, в помощь ему был придан тогда еще прокурор полевых войск поручик Василий Иванович Суворов (1705—1775), уже отец будущего генералиссимуса А.В. Суворова.
Иван Долгоруков был так напуган всем происходившим, что впал в ступор. Состояние несчастного усугубило то, что его сразу заковали в кандалы по рукам и ногам и держали прикованным к стене. Если верить протоколам розыскного дела, подследственного не пытали. Его ставили перед дыбой, и он сразу же начинал каяться во всех грехах, в том числе и в тех, о которых никто не знал. В частности, Иван Алексеевич сам рассказал о подложном завещании Петра II и о своей подписи под ним. А ведь это было самое страшное преступление из возможных. Более того, Иван Алексеевич выставил заговорщиками многих своих родичей, ранее помилованных Анной Иоанновной.
Других арестантов пытали, да так ужасно, что потрясенный впервые увиденным Василий Суворов потом долго болел. Все они подтвердили ругань ссыльного на Анну Иоанновну и всю императорскую семью.
Тем временем началось новое следствие – о государственной измене и о заговоре с целью свержения законной власти. По российским городам и весям арестовывали Долгоруковых. Почти всех мужчин семейства свезли в Шлиссельбургскую крепость, где подвергли жесточайшим пыткам. Розыск тянулся до осени 1739 года. В конце октября волею императрицы Анны Иоанновны было созвано Генеральное собрание, которое вынесло обвиняемым окончательный приговор.
Осужденных вывезли в Новгород, где 8 ноября 1739 г. состоялись экзекуции и казни. Первыми били кнутом младших братьев Ивана – Николая и Алексея Долгоруковых. Затем Николаю отрезали язык. Обоих сослали в Охотск. Дядюшкам Ивана Алексеевича, князьям Ивану Григорьевичу, Сергею Григорьевичу и Василию Лукичу Долгоруковым отрубили головы.