«Истинная ево ко мне любовь принудила дух свой стеснить и утаивать эту тоску и перестать плакать, и должна была и ево еще подкреплять, чтоб он себя не сокрушил: он всево свету дороже был. Вот любовь до чево довела: все оставила, и честь, и богатство, и сродников, и стражду с ним и скитаюсь. Этому причина все непорочная любовь, которою я не постыжусь ни перед Богом, ни перед целым светом, потому что он один в сердце моем был. Мне казалось, что он для меня родился и я для нево, и нам друг без друга жить нельзя». Такое объяснение в любви к мужу, которого уже давно не было в живых, Наталья Борисовна написала через много лет, в глубокой старости. «Я по сей час в одном разсуждении и не тужу, что мой век пропал, но благодарю Бога моево, что Он мне дал знать такова человека, который тово стоил, чтоб мне за любовь жизнию своею заплатить, целый век странствовать и всякие беды сносить. Могу сказать — безпримерные беды...»
Да, то действительно были «безпримерные беды». Вся семья Долгоруких была лишена званий, орденов и имуществ и отправлена в ссылки. На долю князя Алексея Григорьевича с женой Прасковьей Юрьевной, сына Ивана с женой Натальей Борисовной, сыновей Николая (18 лет), Алексея (14 лет), Александра (12 лет) и дочерей Екатерины (18 лет, царской невесты), Елены (15 лет) и Анны (13 лет) выпала ссылка в Березов, суровый северный городок в 1066 верстах от Тобольска, недалеко от современного Сургута, окруженный дремучей тайгой и пустынными тундрами, стоящий на крутом берегу реки Сосьвы близ впадения ее в Обь. Здесь зима длилась восемь месяцев в году, погода отличалась непостоянством, воздух был сырой и туманный, свирепствовали жестокие бураны, а от мороза лопались стекла в домах. По недостатку помещений в остроге, в котором сидел до них светлейший князь Меншиков, князю Ивану с женой выделили дровяной сарай, наскоро перегороженный и снабженный двумя печками. Именным приказом императрицы Долгоруким было строжайше запрещено общаться с местными жителями, иметь бумагу и чернила и выходить куда-либо из острога, кроме церкви, да и то под надзором солдат. Надзор над пленниками был поручен специальной команде солдат сибирского гарнизона из Тобольска под началом майора Петрова. Содержание узников было самое скромное, по одному рублю на каждого ежедневно, а продукты в Березове были очень дороги. Для примера, пуд сахара стоил 9 руб. 50 коп., что было по тем временам ценой непомерной. Долгоруковы терпели большую нужду, ели деревянными ложками, пили из оловянных стаканов. Женщины занимались рукоделием, мужчины забавлялись утками, гусями и лебедями, которых разводили на острожном дворе.
Семья Долгоруких была не дружна, часто они ссорились и пререкались друг с другом, говорили много бранных слов. Об этом доносили даже императрице, которая в 1731 году издала специальный указ: «Сказать Долгоруковым, чтоб они впредь от ссор и непристойных слов конечно воздержались и жили смирно, под опасением наистрожайшего содержания».