Приказом царицы Анны Иоанновны Долгоруких сначала разослали по дальним деревням. Однако в пути их догнал новый приказ — князя Алексея с женой, сыном Иваном, дочерью — «порушенной невестой» Петра II, младшими сыновьями и дочерями и невесткой Натальей Борисовной сослать в отдаленное глухое место Сибири — тот самый Березов, куда незадолго перед этим Долгорукие заслали вместе с семьей свергнутого ими Меншикова. Им разрешено было взять с собой лишь по одному человеку из слуг на каждого и ограниченное число повозок. Постоянно ссорившиеся между собой Долгорукие, особенно женская часть семьи, не скрывали своей враждебности к шестнадцатилетней невестке, а она, хорошо подготовленная к придворной жизни: знающая иностранные языки, хорошо танцующая, любительница веселых праздников и красивых лошадей, — совершенно не представляла себе, куда их везут и что их там ожидает. Долгорукие правдами и неправдами захватили с собой немалое число драгоценностей, а старый князь уже в пути, в Сибири, одолжил известное количество денег (сибиряки знали, сколь «пременны» придворные судьбы, и ссыльному вельможе одалживали охотно). Неопытная Наталья Борисовна не взяла с собой почти ничего. Лишь небольшую сумму ей удалось одолжить у своей воспитательницы: преданная немка — учительница (в семье Шереметевых ее почему-то называли «мадам») сопровождала княгиню в Сибирь и была с княгиней так долго, как ей было разрешено, а при расставании отдала все свои деньги.
В трудных условиях начал проявляться благородный характер Натальи Борисовны. Среди вздорной и постоянно ссорившейся семьи Долгоруких она резко выделялась самопожертвованием и стойкостью. Княгиня Долгорукая пишет: «Мне как ни было тяжело, однако принуждена дух свой стеснять и скрывать свою горесть для мужа милого; ему и так тяжело, что сам страждет, при том же и меня видит, что его ради погибаю. Я в радости их не участница была, а в горести им товарищ, да еще всем меньшая, надобно всякому угодить. Я надеялась на свой нрав, что я всякому услужу» (с. 23).
Путешествие по Сибири было долгим и очень трудным. До Касимова ехали сухим путем. Дальше надо было пересаживаться на барку и плыть по реке. Здесь же Наталье Борисовне пришлось расстаться со своей воспитательницей-немкой, о которой она пишет с большой теплотой и благодарностью: «Моя воспитательница, которой я от матери своей препоручена была, не хотела меня оставить, со мною в деревню поехала; думала она, что там злое время проживем; однако не так сделалось, как мы думали, принуждена меня покинуть. Она — человек чужестранный, не могла эти суровости понести; однако, сколько можно ей было, эти дни старалась, ходила на то бесчастное судно, на котором нас повезут; все там прибирала, стены обивала, чтобы сырость сквозь не прошла, чтоб я не простудилась; павильон поставила, чуланчик загородила, где нам иметь свое пребывание, и все то оплакивала» (с. 33). Те тяготы пути, что были не под силу искренне любившему Наталью Борисовну «чужестранному человеку», оказались по плечу воспитанной в холе «княгинюшке», которой недавно исполнилось шестнадцать лет.
В характере Натальи Долгорукой старина и новизна переплетались органично. Она принадлежала своему времени по привычкам и языку. В ее воспоминания попадают такие выражения, как «я ни с кем не буду