И начались мытарства Антона с Анной. Сначала их хотели отвезти в Митаву, но потом Елизавета передумала и оставила их в Риге. С ними стали обращаться как с государственными преступниками. Вскоре содержать в портовой Риге августейших узников показалось Елизавете опасным — ведь оттуда их могли запросто выкрасть, и вследствие этого их перевели в крепость Дюнамюнде, в трех милях от Риги. Здесь Анна Леопольдовна родила еще одну дочь — Елизавету. Почему она дала своей дочери имя своей недоброжелательницы? Может, надеялась на снисхождение? Однако она напрасно ждала его.
Этого императрице показалось мало — возможность переворота пугала ее. И такие заговоры действительно были. Двадцатилетнее царствование Елизаветы — это двадцатилетие опасности, что ее свергнут; недаром она никогда не спала ночью, а только днем!
В январе 1744 года она решила перевести арестантов в глубь страны, выбрав им для жительства глухой городок в Рязанской губернии Раненбург (ныне город Чаплыгин). Там они и жили, пока по указу Елизаветы в июне 1744 года у них не отобрали сына Ванечку и не отвезли его в Холмогоры. А через месяц и саму бывшую принцессу с ее мужем и оставшимися детьми было велено отправить на Соловки. Мадам Менгден была разлучена с Анной, и больше они не виделись. Однако они доехали только до тех же Холмогор, так как дети — Екатерина с Елизаветой болели, а Анна в очередной раз была беременна. Их оставили в Холмогорах, в том же доме, где уже пребывал в заточении их сын Иван. Они даже не знали, что он находится рядом, буквально за стеной.
А в 1746 году Анна Леопольдовна умерла от родовой горячки. Ей в ту пору было всего 28 лет. Несчастная принцесса, разлученная с сыном, скончалась «огневицею» (так тогда называли заражение крови). Вспомнился ли ей Линар и лесбийские игры с Юлианой в последние минуты ее жизни? Мы не знаем и не узнаем об этом никогда, ведь чужая душа — потемки.
По приказу Елизаветы Анну со всеми почестями похоронили в Александро-Невской лавре, рядом с ее матерью и бабкой, царицей Прасковьей. Говорят, что на похоронах Елизавета рыдала. Искренними были ли эти слезы? Сомневаемся. Достоверно известно одно — когда ей докладывали об очередном рождении детей у Анны, она приходила в бешенство, а узнав о рождении очередного сына, «изволила, прочитав, оный рапорт разодрать». Она опасалась, что сыновья Анны когда-то смогут согнать ее с незаконного места.
Всего детей от Антона Ульриха у Анны Леопольдовны было пятеро — сыновья Иван, Петр и Алексей, а также две дочери: Екатерина и Елизавета. Этим можно было бы гордится — наука полковника Кейзерлинга пошла Антону явно на пользу.
После смерти Анны, и до нее, Брауншвейгская семья проживала в архиерейском доме, огороженном высоким забором. Здесь прямо-таки напрашивается аналогия с Ипатьевским особняком в Екатеринбурге, где в ожидании расстрела содержалась семья Николая II. Семью Антона, слава Богу, не расстреляли, но она также была заточена в прямоугольнике высокой ограды.
В 1756 году 16-летнего Ивана Антоновича, уже переименованного в Григория, перевезли в Шлиссельбург и поместили там в крепость. Так началась полная трагизма и страдания история русской «железной маски», поскольку у узника даже имени не было — во всех документах его следовало было называть «известной персоной». Что толкнуло Елизавету на этот бесчеловечный шаг? Здесь дело темное. По одной из версий, в лапы Тайной канцелярии однажды попал некий купец Зубарев, который поведал о том, что прусский король Фридрих II задумал свергнуть Елизавету и освободить Ивана Антоновича. Для этого он якобы намеревался отправить в Холмогоры военные корабли с десантом. Правда это была или ложь, но Елизавета предпочла увезти Ивана от греха подальше, вернее, от моря подальше в Шлиссельбург, чтобы он был все время под контролем. А еще она дала охране приказ, чтобы при попытке освобождения Ивана Антоновича, он был убит. Так оно и случилось, но только в царствование уже другой императрицы, Екатерины II. Когда поручик Мирович в июле 1764 года попытался освободить Ивана VI, то он был убит своими тюремщиками и похоронен там же в Шлиссельбурге, тайно.
Еще раньше, в 1762 году, Екатерина II прислала к Антону генерала Бибикова с предложением свободы ему лично, но не его детям. Дети должны были остаться в Холмогорах в заточении (поскольку они могли претендовать на трон), а принц мог ехать куда угодно, хоть за границу. К чести Антона он наотрез отказался от такого «лестного» предложения. Он заявил, что ему лучше умереть в заточении, чем оставить детей. К тому же у него были еще другие дети, которых ему рожала то ли кухарка, то ли горничная, в общем, прислуга. Оставить детей, и своих, и прижитых на стороне, он не мог — ему бы это не позволила совесть. Он так и остался с ними, в последние годы ослеп и скончался в 1776 году на 62-м году жизни. Был похоронен там же, в Холмогорах.