Умирая в холмогорском архиерейском доме, Анна, возможно, не знала, что ее первенец Иван уже больше года живет с ней рядом, за глухой стеной, разделявшей архиерейский дом на две части. Нам неизвестно, как обходился в дороге с мальчиком капитан Миллер, что он отвечал на бесконечные и тревожные вопросы оторванного от родителей ребенка, которого теперь стали называть Григорием, как сложились их отношения за долгие недели езды в маленьком возке без окон. Известно лишь, что юный узник и его стражник приехали в Холмогоры раньше остальных членов Брауншвейгской семьи и Ивана поселили в изолированной части дома архиерея. Комната-камера экс-императора была устроена так, что никто, кроме Миллера и его слуги, пройти к нему не мог. Содержали Ивана в тюрьме строго. Когда Миллер запросил Петербург, можно ли его, Миллера, прибывающей вскоре жене видеть мальчика, последовал категорический ответ - нет! Так Ивану за всю его оставшуюся жизнь довелось увидать только двух женщин, двух императриц - Елизавету Петровну, а потом Екатерину II, которым экс-императора показывали тюремщики.
Многие факты говорят о том, что разлученный с родителями в четырехлетнем возрасте Иван был нормальным, резвым ребенком. Нет сомнения, что он знал, кто он такой и кто его родители. Об этом свидетельствует официальная переписка еще времен Динамюнде. Позже, уже в 1759 году, один из охранников рапортовал, что секретный узник называет себя императором. Как вспоминал один из присутствовавших на беседе императора Петра III с Иваном Антоновичем в 1762 году в Шлиссельбурге, Иван отвечал, что императором его называли родители и солдаты. Помнил он и доброго офицера по фамилии Корф, который о нем заботился и даже водил на прогулку.
Все это говорит только об одном - мальчик не был идиотом, больным физически и психически, каким порой его изображали. Отсюда следует, что детство, отрочество, юность Ивана Антоновича - волшебные мгновения весны человеческой жизни - прошли в пустой комнате с кроватью, столом и стулом. Он видел только скучное лицо молчаливого слуги Миллера, который грубо и бесцеремонно обращался с ним. Вероятно, он слышал неясные шумы за стеной камеры, до него долетал шум дождя, деревьев, крик ночной птицы.
Конечно, Елизавета бы вздохнула с облегчением, если бы вскоре получила рапорт коменданта о смерти экс-императора. Личный врач императрицы Лесток в феврале 1742 года авторитетно говорил одному иностранному дипломату, что Иван Антонович весьма мал для своего возраста и что он должен неминуемо умереть при первой же серьезной болезни. Такой момент наступил в 1748 году, когда у восьмилетнего мальчика начались страшные по тем временам болезни, не щадившие не только детей, но и взрослых, - оспа и корь одновременно. Комендант тюрьмы, видя страдания больного мальчика, запросил императрицу, можно ли допустить к ребенку врача, а если он будет умирать - то и священника. Ответ был недвусмысленный: допустить можно, но только монаха и в последний час. Иначе говоря, не лечить - пусть умирает! Но природа оказалась гуманнее царицы и дала Ивану возможность выжить.
Один из современников, видевших Ивана взрослым, писал, что он был белокур, даже рыж, роста среднего, «очень бел лицом, с орлиным носом, имел большие глаза и заикался. Разум его был поврежден… Он возбуждал к себе сострадание, одет был худо». В начале 1756 года в жизни Ивана наступила резкая перемена. Неожиданно глухой январской ночью 1756 года пятнадцатилетнего юношу тайно вывезли из Холмогор и доставили в Шлиссельбург. Охране дома в Холмогорах было строго предписано усилить надзор за принцем Антоном-Ульрихом и его детьми, «чтобы не произошло утечки». В это время власти опасались попыток похищения Брауншвейгской фамилии прусскими агентами. О планах Фридриха II организовать побег Ивана Антоновича и его родных стало известно из данных, полученных Тайной канцелярией
Иван Антонович прожил в Шлиссельбурге в особой казарме под присмотром специальной команды охранников еще долгих восемь лет. Можно не сомневаться, что его существование вызывало головную боль у всех трех сменивших друг друга властителей России: Елизаветы Петровны, Петра III, Екатерины II. Свергнув малыша с престола в 1741 году, Елизавета, умирая в 1761 году, передала этот династический грех своему племяннику Петру III, а от него проблему Ивана унаследовала в 1762 году Екатерина. И никто из них не знал, как быть с узником.