В сентябре семья Долгоруких оказалась уже в Березове — глухом сибирском углу, недалеко от современного Сургута. Потянулись долгие, беспросветные годы ссылки. Вот что писали современники о Долгоруких: «Уже все эти несчастные отправились, никто не пожалел о них, потому что когда они были в счастии, они не старались приобрести себе друзей». Это была как бы эпитафия на братской могиле Долгоруких: оставаясь еще живыми, они уже умерли в сознании людей.
Наталья Борисовна, верная своим идеалам, испила сполна горькую чашу страдания. Остановимся напоследок на том, что произошло с семьей Долгоруких в 30-е годы XVIII века, о чем Наталья Борисовна практически не пишет в своих мемуарах. Ссылка в Березов была тяжким испытанием для вчерашних властителей России. И дело не только в бедности, к которой они привыкали с трудом, может быть, впервые взяв в руки деревянные ложки и глиняные чашки. Семья была большая и недружная. Ее глава, Алексей Григорьевич Долгорукий, часто ссорился со старшей дочерью — «порушенной невестой» Екатериной, приходившей в отчаяние при виде убогих нар, на которых ей предстояло еще долго спать. Березов был краем света, и жилось там тяжело. Почти непрерывная зимняя ночь сменялась долгим днем короткого лета, чтобы следом за ним вновь пришла ночь. И люди — как ссыльные, так и охрана, и местные жители, отрезанные от России тысячами верст пустынного заснеженного пространства и болот, — нуждаясь в общении, нередко собирались за общим столом. В этом застолье было спасение от тяжести убогой жизни, но была и опасность: Долгорукие, не сдержанные на язык, во взаимных ссорах, уж конечно, не щадили нынешнюю царскую власть, кляня Анну Иоанновну и Бирона как главных виновников своих несчастий.
Российская жизнь без доносов немыслима, и вскоре в Тобольск — сибирскую столицу, а потом и в Петербург полетели доносы на Долгоруких. Поначалу власти ограничивались предупреждениями, а затем — это было уже в 1738 году — в ответ на донос таможенного подьячего Тишина прислали фискала, который пожил некоторое время в Березове и даже подружился с Иваном Долгоруким. Вскоре после его возвращения в Тобольск, в результате его доклада в Березов был прислан указ отделить Ивана Долгорукого как главу семейства (Алексей Григорьевич умер в 1734 году) от прочих Долгоруких и заточить в земляную тюрьму. В августе того же года Иван, двое его братьев — Николай и Александр, а также шестьдесят жителей Березова, имевших общение со ссыльными, были арестованы и вывезены под караулом в Тобольск. Начался сыск.
Долгоруких ждала дыба. Показания, данные Иваном под пыткой, были столь серьезны, что по указу правительства его доставили в Шлиссельбург, куда в начале 1739 года стали свозить оговоренных им родственников — участников знаменитых событий начала 1730 года. Дело в том, что Иван сознался в подделке завещания Петра II, по которому власть должна была перейти его сестре Екатерине. Он подтвердил, что это завещание — дело рук семьи Долгоруких.
Не осуждая Ивана Долгорукого, испытавшего ужасы застенка, увы, нельзя не сказать, что его показания привели к оговору, арестам, пыткам и казням большого количества людей. Летом 1739 года тобольская следственная комиссия завершила работу. Тридцать первого октября в Петербурге Генеральное собрание из высших сановников государства, рассмотрев в течение одного дня дело, которое велось целый год, приговорило Ивана Долгорукого к… колесованию!
Восьмого ноября 1739 года под Новгородом при большом стечении народа состоялась эта страшная казнь. Ивана «помиловали» — колесование заменили четвертованием.
Его младших братьев, Николая и Александра, отвезли в Тобольск, где им вырезали языки и наказали кнутом. Правда, Бирон, ставший регентом после смерти Анны осенью 1740 года, распорядился отменить казнь молодых людей, но сибирское начальство сообщило, что указ о помиловании опоздал, преступники уже наказаны и сосланы соответственно в Охотск и на Камчатку. Еще один их брат, юный Алексей, был приписан матросом в экспедицию Беринга. Суровая судьба ждала и сестер Ивана: бывшая «государыня-невеста» Екатерина была насильно пострижена в Томске, ее сестры, Елена и Анна, соответственно в Тюмени и Верхотурье.
Лишь в начале 1740 года Наталья Борисовна Долгорукая, оставленная на время следствия в Березове, узнала наконец о страшной судьбе своего мужа и его родственников. Ей позволили вернуться в Москву, куда она и отправилась вместе с детьми, родившимися в Березове: старшему, Михаилу, было восемь лет, а младшему, Дмитрию, полтора года. В день смерти Анны Иоанновны, 17 октября 1740 года, она въехала в Москву, где ее крайне неприветливо встретили Шереметевы и особенно брат, знаменитый богач Петр Борисович, унаследовавший практически все состояние отца.