О странностях майора донесли в Санкт-Петербург, но там решили не назначать к Иоанну Антоновичу другого тюремщика. Императрица приказала отправить в Холмогоры жену Миллера – добродушную и богобоязненную немку, которая все эти годы ничего не знала о своем супруге. Майор очень обрадовался приезду жены, повеселел и почти прекратил свои чудачества. Изменился и Иоанн Антонович. Прошел год, и его нельзя было узнать: почти исчезли признаки душевной болезни, сердобольная фрау Миллер выучила его читать и писать, он знал молитвы…
Иоанн Антонович оправился настолько, что стал серьезно интересоваться своим положением. В это время ему было уже 15 лет, добрая майорша нашла возможность завязать отношения с принцем Антоном. Через нее отец с сыном узнали, что живут рядом, и стали переписываться, однако благополучие это длилось недолго.
В 1756 году был схвачен тобольский купец-раскольник И. Зубарев. На допросе в Тайной канцелярии, а потом на исповеди он показал, что прусский король Фридрих произвел его в полковники и дал поручение – ехать в Архангельск, тайно похитить Иоанна Антоновича и перевезти на корабль, который специально для этого будет послан на Белое море. После таких признаний императрица послала в Холмогоры гвардии капитана Савина, который в 1756 году доставил Иоанна Антоновича в Шлиссельбургскую крепость. Здесь его поместили в большом каземате, единственная дверь которого сообщалась с квартирой смотрителя. Тюремщики получили строгие инструкции: именовать Иоанна «безымянным колодником» и самому ему не говорить, где он находится. Кроме двух офицеров и сержанта, никто не должен был видеть арестанта, а те не должны были никому сообщать, каков узник…
В Шлиссельбург Иоанна Антоновича, по-видимому, привезли уже не совсем здоровым, и в 1759 году поручик М. Овцын доносил, что «хотя в нем болезни никакой не видно, только в уме несколько помешался». В другом сообщении он докладывал: «Арестант здоров, а в поступках так же, как и прежде, не могу понять: воистину ли он в уме помешался или притворничествует?» Иногда пленник бранился, буйствовал и даже дрался; а порой забивался в угол своей камеры и, казалось, не замечал окружающих. Временами он жадно вглядывался в лица тюремщиков, пытался заговорить с ними, но они упорно молчали. Какие-то случайно оброненные слова, воспоминания детства и разговоры все-таки запечатлелись в его памяти, и однажды он сказал Овцыну: «Я – человек великий, и один подлый офицер у меня то отнял и имя переменил». В другой раз, оскорбленный отношением к нему стражников, он решил напомнить им о своем высоком положении: «Смеешь ли ты на меня кричать? Я – здешней империи принц и государь ваш». Солдат долго слушал, а потом с размаху ударил узника кулаком в висок, отчего тот упал и потерял сознание.
Еще Елизавета Петровна запретила упоминать об Иоанне Антоновиче: указы и постановления его царствования были изъяты, а портреты, медали и изображения малолетнего императора и его матери уничтожались. Все уличенные в том, что оставили у себя монеты с изображением Иоанна Антоновича, подвергались суровому наказанию (им отрубали руки). Проходили годы, скончалась Елизавета Петровна, и только в Шлиссельбурге все оставалось по-прежнему. Но об узнике помнили, и само его существование уже таило в себе угрозу.
Еще Петр III через неделю после восшествия на престол распорядился, что в случае нападения на Шлиссельбург «арестанта живого в руки не давать». В 1762 году Иоанна Антоновича тайно привезли в Санкт-Петербург на свидание с императором. Увидев его, Петр III успокоился: узник оказался почти совсем безумным, и слухи об этом распространились при дворе. Так что если из царского окружения кто и захотел бы, то вряд ли мог использовать его при перевороте. Однако Екатерина II, в отличие от мужа, проявила большее беспокойство. Она тоже повидала Иоанна Антоновича и тоже убедилась в его помешательстве, но не успокоилась и поручила узника надзору других офицеров – Власьева и Чекина. Подтвердила она и строжайший приказ: «Живым арестанта в руки никому не давать и возбуждать в нем склонность… к монашеству».
Однако нашелся человек, который решил действовать. Это был поручик Семеновского пехотного полка В.Я. Мирович – человек честолюбивый и на всех обиженный. Он происходил из знатного украинского рода, имения которого в свое время были конфискованы за содействие Мазепе в 1709 году. Поручик проигрался в карты, наделал долгов, и его материальное положение было весьма затруднительным. Он отчаянно пытался сделать карьеру, неоднократно ходатайствовал о возвращении хотя бы части родовых имений, но всякий раз ему отказывали. Гетман К.Г. Разумовский, утешая его, говорил: «Ты, молодой человек, сам себе прокладывай дорогу, старайся подражать другим, старайся схватить фортуну за чуб и будешь таким же паном, как и другие».