Принц Антон-Ульрих прожил десять лет после кончины Иоанна Антоновича. Спустя некоторое время после шлиссельбургской катастрофы императрица Екатерина намеревалась освободить принца и выслать его в Германию, считая его неопасным, но тот не пожелал воспользоваться свободой, если дети его должны остаться в Холмогорах, и предпочел разделить с ними заточение. Под конец жизни Антон-Ульрих ослеп. Умер он 4 мая 1774 года. Тело его было похоронено внутри ограды дома, где арестанты содержались, близ церкви, в присутствии одних только находившихся в карауле нижних чинов, со строжайшим запрещением последним рассказывать кому бы то ни было о месте погребения.
Дети принца Антона — теперь уже взрослые — оставались в Холмогорском остроге после смерти отца еще шесть лет. Все они были болезненные калеки; старшая дочь, принцесса Екатерина, оглохла на восьмом году жизни и была до того косноязычна, что речи ее нельзя было понимать и братья и сестры объяснялись с ней знаками; Елизавета была подвержена головным болям и разным болезненным припадкам, впадала часто в меланхолию, страдала одно время помешательством; принц Петр был чахоточный, горбатый и кривоногий; здоровее других был самый младший, принц Алексей, хотя и у него, по донесениям приставленного к Брауншвейгской фамилии офицера Зыбина, бывали болезненные припадки. Братья и сестры жили дружно. Летом они работали в саду, ходили за курами и утками, зимой читали вместе церковные книги, играли в карты и шашки, бегали взапуски по пруду. Принцессы занимались также шитьем белья.
Средства на содержание узников присылались из Петербурга на имя архангельского губернатора, которому поручен был и главный надзор над Брауншвейгской фамилией.
В 1780 году приехал в Холмогоры из Петербурга вновь назначенный архангельский губернатор Мельгунов и объявил принцам и принцессам, что императрица Екатерина дарует им свободу.
Весть эта не особенно обрадовала узников. «Мы здесь родились, привыкли к здешнему месту и застарели, — объясняла принцесса Елизавета. — Теперь большой свет не только для нас не нужен, но и будет тягостен; мы даже не знаем, как обходиться с людьми, а выучиться тому уже поздно. В молодости своей мы надеялись еще научиться светскому обращению; но в теперешнем положении не остается нам ничего больше желать, как только того, чтобы жить здесь в уединении. Рассудите сами, можем ли мы желать чего-нибудь, кроме этого. И мы просим лишь исходатайствовать у ее величества милость, чтобы позволено нам было выезжать из дома на луга для прогулки; мы слыхали, что там есть цветы, каких в нашем саду нет. И еще просим позволить женам офицеров, которые приставлены для надзора за нами, ходить к нам… Ничего больше мы не желаем».
Тем не менее Мельгунов, исполняя волю императрицы, увез принцев и принцесс из Холмогор к реке Двине, где их ожидало судно «Полярная Звезда». На этом судне они были доставлены в г. Берген, откуда на датском военном корабле «Марс» их перевезли в г. Горзенс, в Ютландии, в датских владениях.
Освобождение братьев и сестер Иоанна Антоновича из заточения в Холмогорах последовало по просьбе датской королевы Юлианы-Марии, приходившейся родственницей их отцу. Считая свое положение на престоле достаточно прочным, императрица Екатерина согласилась исполнить просьбу датской королевы. И после долгой переписки между русским и датским дворами решено было, что родня бывшего императора поселится в Горзенсе.
Перед тем как отпустить принцев и принцесс, императрица велела заготовить для них богатое платье, белье, шубы и снабдить их разными предметами — до брильянтовых перстней и осыпанных брильянтами табакерок включительно. Подарки эти ввели принцесс в смущение: среди присланных императрицей принадлежностей туалета было много таких, которые они не знали, как надевать и носить. «Сделайте милость, — говорили принцессы Мельгунову, — пришлите такого человека, который умел бы наряжать нас».
На обзаведение и содержание бывших узников в новом месте их пребывания императрицей Екатериной была отпущена довольно крупная сумма денег.
Полной свободы принцы и принцессы, однако, не получили.
В Горзенсе они были помещены под условием не уезжать оттуда куда бы то ни было, то есть являлись как бы ссыльными, и им сделано было предостережение, что если они забудут благодеяния государыни или, следуя наущениям и советам, не захотят оставаться в назначенном им месте, то потеряют всякое право на помощь от императрицы.
Так как принцы и принцессы были православной веры, а в Горзенсе не было ни православного священника, ни православной церкви, то императрица Екатерина отправила туда архимандрита Иосифа.