Живя годами, десятилетиями вместе, под одной крышей (последний караул не менялся двенадцать лет), эти люди ссорились, мирились, влюблялись, доносили друг на друга. Скандалы следовали один за другим: то солдат поймали на воровстве, то офицеров — на интригах с горничными. Принц Антон Ульрих, как и всегда, был тих и кроток. С годами он растолстел и обрюзг. После смерти Анны он нашел утешение в объятиях служанок своих дочерей. В Холмогорах было немало его незаконных детей, которые, подрастая, становились прислугой брауншвейгской семьи. Изредка принц писал императрице Елизавете, а потом и Екатерине II письма: благодарил за присланные бутылки вина или еще какую-нибудь милостыню-передачу. Особенно бедствовал он без кофе, который был ему необходим ежедневно.
В 1766 году Екатерина II прислала в Холмогоры генерала А. Бибикова, который от имени императрицы предложил Антону Ульриху покинуть Россию. Но тот отказался. Датский дипломат писал, что принц, «привыкший к своему заточению, больной и упавший духом, отказался от предложенной ему свободы». Это неточно — принц не хотел свободы для себя одного, он хотел уехать из России вместе с детьми. Но его условия не устраивали Екатерину — она боялась выпустить на свободу детей Анны Леопольдовны, которые, согласно завещанию императрицы Анны, могли претендовать на русский престол. Принцу лишь обещали, что их всех отпустят вместе, когда сложится благоприятная для этого обстановка.
Так и не дождался Антон Ульрих исполнения обещания Екатерины. К шестидесяти годам он одряхлел, ослеп и, просидев в заточении тридцать четыре года, скончался 4 мая 1776 года, пережив более чем на двадцать лет свою жену. Ночью гроб с телом тайно вынесли на двор и похоронили там без священника, без обряда, как самоубийцу, бродягу или утопленника. Мы даже не знаем, провожали ли его в последний путь дети.
Они прожили в Холмогорах еще четыре года. К 1780 году это были уже взрослые люди: старшей глухой Екатерине Антоновне шел тридцать девятый год, Елизавете было тридцать семь, Петру — тридцать пять, а младшему Алексею — тридцать четыре. Все они были болезненными, слабыми, с явными физическими недостатками. О старшем сыне Анны Леопольдовны Петре офицер охраны писал, что он «сложения больного и чахоточного, несколько кривоплеч и кривоног. Меньшой сын Алексей — сложения плотноватого и здорового… имеет припадки". Старшая дочь Екатерина — „сложения больного и почти чахоточного, притом несколько глуха, говорит немо и невнятно и одержима различными болезненными припадками, нрава очень тихого“.
Несмотря на жизнь в неволе, без образования (в 1750 году в Холмогоры был прислан указ Елизаветы, запрещавший учить детей Анны грамоте), все они выросли умными, добрыми и симпатичными людьми, выучились они самостоятельно и грамоте. Побывавший у них губернатор А.П. Мельгунов писал императрице Екатерине II о Екатерине Антоновне, что, несмотря на ее глухоту, «из обхождения ее видно, что она робка, уклончива, вежлива и стыдлива, нрава тихого и веселого. Увидя, что другие в разговоре смеются, хотя и не знает тому причины, смеется вместе с ними… Как братья, так сестры, живут между собою дружелюбно и притом незлобливы и человеколюбивы. Летом работают в саду, ходят за курами и утками и кормят их, а зимой бегают взапуски [и] на лошадях по пруду, читают церковные книги и играют карты и шашки. Девицы, сверх того, занимаются иногда шить белья».
Быт их был скромен и непритязателен, как и их просьбы. Глава семьи была Елизавета, полноватая и живая девица, обстоятельная и разговорчивая. Она рассказала Мельгунову, что «отец и мы, когда были еще очень молоды, просили дать свободу, когда же отец наш ослеп, а мы вышли из молодых лет, то просили разрешения проезжаться, но ни на что не получили ответа». Говорила она и о несбывшемся желании «жить в большом свете», научиться светскому обращению. «Но в теперешнем положении, — продолжала Елизавета Антоновна, — не останется нам ничего больше желать, как только того, чтобы жить здесь в уединении. Мы всем довольны, мы здесь родились, привыкли к здешнему месту и застарели».
У Елизаветы было три просьбы, от которых у Алексея Мельгунова, человека тонкого, гуманного и сердечного, вероятно, все перевернулось в душе: «Просим исходатайствовать у Ее величества милость, чтобы нам было позволено выезжать из дома на луга для прогулки, мы слышали, что там есть цветы, каких в нашем саду нет», чтобы пускали к ним дружить жен офицеров — так скучно без общества. И последняя просьба: «Присылают нам из Петербурга корсеты, чепчики и токи, но мы их не употребляем для того, что ни мы, ни девки наши не знаем, как их надевать и носить. Сделайте милость, пришлите такого человека, который умел бы наряжать нас».