Несмотря на все беды, Анна Леопольдовна продолжала рожать детей. Старшая сестра Ивана появилась на свет за четыре месяца до ноябрьского переворота 1741 года, во время которого её случайно уронили на пол. Принцесса на всю жизнь осталась глухой. Рождение каждого нового ребенка у Анны вызывало в Елизавете чувство раздражения. Получив известие о появлении на свет Алексея, императрица «изволила, прочитав, оный рапорт разодрать». Сёстры и братья императора Иоанна жили в Холмогорах под жёстким домашним арестом. Им не разрешалось выходить за пределы обнесённого забором двора, их ничему не учили, а круг общения был строго ограничен. Тем не менее они умели, хотя и плохо, писать и читать, выросли добрыми и скромными людьми. Душой их общества была Елизавета Антоновна – живая и рассудительная девушка. Она говорила приехавшему в 1780 году к ним сенатору Алексею Петровичу Мельгунову: «Мы всем довольны, мы здесь родились, привыкли к здешнему месту и застарели».
Холмогорский Успенский девичий монастырь – место заключения Брауншвейгского семейства. Рисунок принцессы Екатерины Антоновны
Мельгунов так описывал брауншвейгскую семью: «Старшая сестра, Катерина, имеет от роду 38 лет, в молодых летах оглохла, весьма косноязычна, так что слов ея почти разуметь нельзя, и, за глухотою, ея братья и сестра объясняются с ней по минам; из себя сухощава и небольшаго росту, белокура, похожа на отца. Меньшой сестре, Елисавете, от роду 36 лет; от упадения с лестницы каменной, с верхней ступени до низу, на 10-м году возраста расшибла голову, отчего часто чувствует боль в голове, а особливо во время непогод. Ростом и лицом схожа на мать. Большой брат Пётр от роду имеет 35 лет, в самом детстве повреждён, отчего имеет небольшой горб и один бок несколько крив, так, как и ноги. Меньшой брат Алексей имеет от роду 34 года. Оба они росту небольшаго, белокуры и лицом схожи на отца». О Екатерине Мельгунов писал также, что «из обхождения её видно, что она робка, уклонна, вежлива и стыдлива, нрава тихаго и весёлаго, ибо, увидя других, в разговорах смеющихся, хотя и не знает причины, но делает им компанию… Касательно же до братьев, то оба они, по примечанию моему, не имеют, кажется, ни малейшей в себе природной остроты, а больше видна в них робость, простота, застенчивость, молчаливость и приёмы, одним малым ребятам приличные… Меньшой брат во всём сложении здороваго и нраву не угрюмаго; одним словом, они все веселы и смешливы, но Елисавета и меньшой брат показывают иногда вид серьёзный. Живут же между собою дружелюбно, и притом незлобивы и человеколюбивы, и братья повинуются и слушают во всём Елисавету… летом работают в саду, ходят за курами и утками и кормят их, а зимою бегаются в запуски на деревянных лошадях по пруду, в саду их имеющемуся, читают церковныя книги и играют в карты и шашки; девицы же, сверх того, занимаются иногда шитьём белья».
В начале 1780 года Екатерина II решила отправить всех четырёх детей Антона-Ульриха и Анны Леопольдовны в Данию, к их тётке королеве Юлиане-Марии. Местом жительства был выбран небольшой город Хорсенс. Перед лицом иностранной государыни Екатерина расщедрилась, прислала принцам и принцессам богатые подарки: серебряную посуду, всевозможные украшения и одежду. 26 июня 1780 года Мельгунов объявил своим подопечным, что повезёт их в Данию. Впервые вышли они за ворота своей тюрьмы, сели на яхту и поплыли вниз по Двине к Архангельску. Увидев укрепления Новодвинской крепости, они сбились в кучку и со слезами стали прощаться друг с другом, думая, что их обманом заманили в её глухие казематы, но, увидев стоявший на рейде корабль «Полярная звезда», успокоились. Капитан Михаил Арсеньев принял их на борт, и 30 июня началось морское плавание.
Чего только не пережили пассажиры «Полярный звезды»! Штормы и бури, туманы и сильные ветры словно хотели помешать кораблю исполнить своё предназначение. Наконец, спустя два месяца показался город Берген. Здесь всё семейство пересадили на датский корабль и отправили в Хорсенс. Тётка-королева даже не пожелала увидеться со своими родственниками (в отличие от своего сына, который каждый год навещал их). В чужой обстановке принцам и принцессам жилось очень плохо. Постепенно один за другим они умирали, хоронили их в тамошней лютеранской церкви, но по православному обряду. Последней сошла в могилу уже в эпоху Александра I глухая принцесса Екатерина. О её жизни рассказывает нам её собственное письмо, которое она направила своему духовнику отцу Феофану: «Что мне было в тысячу раз лючше было жить в Холмогорах, нежели в Горсенсе. Что мой мы придворные датские всегда не любят, и часто от того я плакала… Что они всякой день ездили в гости и прогуляться, а мне всегда дома оставляли, ни кем дома не могла говорить, ни одно слово. Что они заперли мне в комнате, что бы никто же не знал, что бы я делаю, и они ни кого не пускали, что они мне крепка запретили… И я теперь горьки слёзы проливаю, приклинаю себя, что я давно не умерла».