Жизнь пленников в Раненбурге проходила в невыносимых условиях, к тому же они прибыли сюда уже больными. У Анны Леопольдовны была отморожена левая рука, у принца Антона – обе ноги, маленький Иоанн метался в жару и бредил. К тому же Анна Леопольдовна снова готовилась стать матерью, а о врачебной помощи нечего было и думать. Родителей поместили в крошечной комнате, вся обстановка которой состояла из двух деревянных кроватей, стола и нескольких грубо сколоченных табуретов. Дом, построенный наскоро, был сырым, через щели в полу и стенах дуло, дрова узникам отпускались скупо, и потому в комнате всегда было холодно. Но самой ужасной пыткой была для несчастных родителей неизвестность о судьбе сына, и напрасно Анна Леопольдовна умоляла солдат сказать, что сделали с Иоанном Антоновичем. Стражники искренне недоумевали, потому что ничего не слышали о прибытии какого-то Иоанна в Раненбург. Главный тюремщик, поручик Вындомский, объявил солдатам, что арестанты – люди «сущеглупые» (сумасшедшие) и, если они будут «заговариваться», их следует вязать и обливать холодной водой. Через несколько дней, когда Анна Леопольдовна снова стала звать начальника, солдаты связали ее, бросили на пол и, грубо издеваясь, облили водой. Принц Антон, привязанный к кровати, истерически рыдал и осыпал мучителей проклятиями на немецком языке. Когда вопли арестованного солдатам надоели, они облили водой и его.
А маленький Иоанн Антонович жил неподалеку от родителей – в другом домике, тоже в крохотной комнатенке, где днем и ночью находился солдат. Правда, здесь же помещалась и Юлиана Менгден – придворная дама Анны Леопольдовны, разделявшая с бывшей правительницей ее судьбу, но она всегда молчала. Несколько раз она пыталась было заговорить с ребенком шепотом, но солдат грубо отгонял ее.
В Санкт-Петербурге успокоились насчет пленников, но спокойствие это длилось недолго. В 1744 году в российскую столицу примчался гонец с донесением, что заключенных пытались освободить, и умолял прислать на помощь сильную воинскую команду. В столице поднялась тревога, и на созванном совещании решено было отправить узников в Соловецкий монастырь, причем крошку Иоанна везти отдельно.
В августе всю семью повезли к Белому морю, но осенью невозможно было добраться до Соловков. Барон Корф стал уверять императрицу, что с островов легко бежать, так как летом туда заходят шведские суда. М.В. Ломоносов посоветовал отправить Иоанна Антоновича в Холмогоры, где у него было много друзей, с помощью которых он надеялся улучшить положение ссыльного ребенка. Елизавета Петровна согласилась, и сердобольный барон Корф сам повез Иоанна Антоновича в Холмогоры, позаботившись, чтобы ребенка тепло одели и захватили большой запас провизии. Вместе со своим питомцем ехала и верная Юлиана Менгден, заменившая ему мать. Принца Антона и Анну Леопольдовну отправили через два дня в сопровождении майора Миллера.
В Холмогорах никто не знал, что к ним везут юного императора; знали только, что к ним едет какой-то знатный вельможа с сыном. По личному распоряжению императрицы нужно скрыть сына одного высокопоставленного лица, так как мать несколько раз пыталась извести своего ребенка, поэтому мальчик на время останется в архиерейском доме на попечении игумена. Кроме того, приказано было приготовить келью, окна которой выходили бы на скотный двор, – для «двух сущеглупых, кои там будут иметь пребывание до кончины».
В Холмогорах пленникам жилось несравненно лучше благодаря заботам Корфа. Иоанн Антонович ни в чем не нуждался, рядом с ним находилась верная фрейлина, пища была отличной, у ребенка даже появились игрушки… Часовые дежурили у наружной двери и около окон, но в комнаты царственного узника входить не смели. Принцу Антону и Анне Леопольдовне после ужасов Раненбурга жизнь в Холмогорах казалась настолько прекрасной, что они даже не вспоминали об Иоанне. Правда, на то были и другие причины. Принц после раненбургского «лечения» стал равнодушен почти ко всему, что заставляло действовать, часто бредил о своих дворянах в Брауншвейге и т. д. Анна Леопольдовна со дня на день ждала ребенка, страдала духовно и физически и целыми днями плакала о невозвратном прошлом.
Иоанн рос, развивался физически, но перенесенные потрясения наложили на него неизгладимый отпечаток. Воспитанием и духовным развитием мальчика никто не занимался, родных он не видел и почти забыл об их существовании. Подле себя Иоанн Антонович видел только майора Миллера, и оба – царственный узник и тюремщик – настолько свыклись друг с другом, что стали схожи между собой.