Поручение отвезти свергнутого императора и его родителей в Раненбург было дано капитану гвардии Вымдонскому. Тот, не подозревая о существовании Раненбурга, едва не отвез пленников в Оренбург.
Пребывание Иоанна III в Раненбурге продолжалось недолго. Слухи, будто какой-то монах решил освободить императора-узника и даже успел будто бы увезти его в Смоленск, заставили правительство Елизаветы Петровны назначить для пребывания Брауншвейгской фамилии другое, более отдаленное место.
27 июля 1744 года один из приближенных к императрице Елизавете, женатый на ее родственнице, барон Н. А. Корф, получил приказ поехать в Раненбург, взять ночью принца Иоанна и отправить его с майором Пензенского полка Миллером, под прикрытием тридцати надежнейших солдат, в Архангельск, а оттуда — в Соловецкий монастырь, где уже было приготовлено помещение как для бывшего императора, так и для его родителей. Все это приказано было обставить большой тайной, так, чтобы никто не мог видеть ни отъезда маленького императора из Раненбурга, ни приезда в Соловецкий монастырь.
Согласно инструкции, Миллер обязан был сесть в коляску с четырехлетним малюткой Иоанном, но называть его не иначе как Григорием, и в сопровождении шести солдат безостановочно везти его в Соловецк, никому, даже извозчикам, ребенка не показывать, а служителю, находящемуся с ним в коляске, строжайше запретить говорить с кем бы то ни было. Туда же, в Соловецкий монастырь, но отдельно, должны были привезти родителей развенчанного императора.
Вследствие очень скверных дорог указ не мог быть точно исполнен, и вместо Соловецкого монастыря все Брауншвейгское семейство было водворено в г. Холмогоры, где оставлено под строгим наблюдением сначала барона Корфа, а затем капитана Измайловского полка Гурьева. Кроме того, при узниках были оставлены капитан Вымдонский и майор Миллер.
В Холмогорах не было ни крепости, ни тюрьмы, где можно было бы поместить узников. Их разместили в разных концах обширного архиерейского дома, но так, что малютка Иоанн не мог видеть ни отца, ни матери, ни сестер своих. Анна Леопольдовна, разъединенная с сыном в Раненбурге, не знала даже, что Иоанн томится в заточении недалеко от нее, а тот, в свою очередь, находился в полном неведении, что в нескольких шагах от него живут и мать, и отец, и Бина Менгден, сестра фрейлины бывшей правительницы, заменившая оставленную в Раненбурге Юлиану.
Молодой арестант — под именем Григория — проводил время в Холмогорах в полном уединении, без всякого общения с кем бы то ни было, кроме назначенного для надзора за ним капитана Миллера. К нему не только не допускали никого из чужих людей, но и не разрешали сношений с его родственниками. Запрещено было также учить его грамоте.
Дав обещание при вступлении своем на престол никого не казнить, императрица Елизавета не хотела лишать жизни и свергнутого ею юного императора. Но в Петербурге были убеждены, что хилый, слабый, болезненный, как и другие дети Анны Леопольдовны, Иоанн Антонович не вынесет заточения. Предвидя возможность смерти Иоанна в ссылке, правительство, за подписью самой Елизаветы, приказало: «Если по воле Божией случится смерть принцу Иоанну, то, учиня над умершим телом анатомию и положа в спирт, тотчас то смертное тело прислать в Петербург с нарочным офицером».
Но развенчанный император-малютка, лишенный трона, свободы, даже имени, пережил все невзгоды одинокой жизни в Холмогорах. Скончалась же в Холмогорах мать его, принцесса Анна Леопольдовна, оставив, кроме Иоанна, еще четверых детей: двух дочерей и двоих сыновей, из которых трое родились уже после свержения с престола императора-малютки. Тело принцессы, согласно распоряжению Елизаветы, было перевезено в Петербург и погребено в Александро-Невской лавре.
Иоанну Антоновичу шел тогда шестой год. Он не узнал о смерти матери, как не знал вообще о судьбе, постигшей его родителей, сестер, братьев. Согласно инструкции, они не могли видеть друг друга, не должны были даже знать, что находятся в одной и той же местности.