Принуждены были новому командиру покоряться; все способы искали, как бы его приласкать; не могли найти, да в ком и найти? Дай Бог и горе терпеть, да с умным человеком! Какой этот глупый офицер был: из крестьян, да заслужил чин капитанский; он думал о себе, что он очень великий человек, и, сколько можно, надобно нас жестоко содержать, как преступников. Ему казалось подло с нами и говорить; однако со всей своей спесью ходил к нам обедать. Изобразите это одно, сходственно ли с умным человеком, в чём он хаживал: епанча солдатская на одну рубашку да туфли на босу ногу, и так с нами сидит! Я была всех моложе и невоздержанна; не могу терпеть, чтоб не смеяться, видя такую смешную позитуру; он это видя, что я смеюсь, или то удалось ему приметить, говорит, смеясь: «Теперь счастлива ты, что у меня книги сгорели, а то бы с тобою сговорил!» Как мне ни горько было, только я старалась его больше ввести в разговор; только больше он мне ничего не сказал. Подумайте, кто нам командир был и кому были препоручены, чтоб он усмотрел, когда б мы что намерены были сделать. Чего они боялись? Чтоб мы не ушли? Ему ли смотреть? Нас не караул их держал, а держала нас невинность наша; думали, что со временем осмотрятся и возвратят нас в первое наше состояние. Притом же мешало много и фамилия очень велика была. Итак, мы с этим глупым командиром плыли целый месяц до того города, где нам жить...
После долгого и тяжёлого пути семья Долгоруковых прибыла в Берёзов. Их поместили в остроге, находившемся неподалёку от церкви Рождества Преев. Богородицы. В ограде острожного двора им был отведён маленький одноэтажный деревянный дом, ветхий и почти без мебели. Княгиня Наталья Борисовна с мужем, всегда обставленные хуже других членов семьи, поселились в небольшом сарае, разделённом внутри перегородкой. Наскоро им были поставлены туда две печи.
Посреди двора был прудик, где летом плавали утки и гуси, доставлявшие много развлеченья несчастным, особенно дочерям Алексея Григорьевича, не имевшим, кроме кормления птиц, никаких занятий.
Надзор за сосланными был поручен присланному с этой целью в Берёзов майору Семёну Петрову. Берёзовским воеводой был тогда некто Бобровский, добрейший человек, делавший всё возможное, чтобы облегчить положение заключённых. Под его влиянием и Петров смотрел сквозь пальцы на уклонения от суровой инструкции, присланной из столицы. Согласно инструкции, заключённых не разрешалось выпускать за ограду острога, кроме праздничных дней, когда их под вооружённым конвоем должны были водить в церковь. Им было запрещено сообщаться с кем бы то ни было; приказано было отнять бумагу и перья. Бобровский и Петров значительно облегчили надзор: позволили прогулки в городе, допускали гостей и даже позволяли иногда, Ивану особенно, посещать некоторых чиновников города. За всё это им пришлось жестоко поплатиться: впоследствии оба были сосланы.
Старая княгиня приехала в Берёзов совсем больная и умерла через несколько недель; её похоронили возле церкви Рождества Пр. Богородицы и над могилой поставили деревянную часовенку, сгоревшую в 1764 г. Князь Алексей Григорьевич в несчастье и ссылке стал невыносим; мучил придирками своих детей, особенно Ивана и княжну Екатерину Алексеевну; он часто упрекал их в том, что они не сумели вовремя заставить покойного государя написать завещание; что будь оно заявлено при жизни его, дело так легко нельзя было бы расстроить. Ивану, а иногда и княжне, приходилось терпеть от отца и побои.