В начале 1756 года Иоанна перевезли из Холмогор в Шлиссельбург, причем сам комендант крепости не должен был знать, кто содержится в ней под именем «известного арестанта»; видеть Иоанна могли и знали его имя только три офицера стерегшей его команды.
Обращались с ним ужасно, инструкция, данная тюремщикам графом А. И. Шуваловым, предписывала: «Если арестант станет чинить какие непорядки или вам противности или же что станет говорить непристойное, то сажать тогда на цепь, доколе он усмирится, а буде и того не послушает, то бить по вашему усмотрению палкой и плетью».
Петр III посещает Иоанна Антоновича в Шлиссельбругской крепости. Гравюра XIX в.
К началу 1760-х годов несчастный Иоанн уже повредился в рассудке, однако не забывал о своем происхождении и называл себя государем. Охране было дано прямое указание убить «известного арестанта», если кто попытается его вызволить. Именно это они и сделали, когда в 1764 году подпоручик Смоленского пехотного полка Василий Яковлевич Мирович вздумал освободить его и провозгласить императором. Сам Мирович был арестован и после тщательного расследования казнен.
С тех пор ни одному из возможных наследников престола не давали ранее популярного имени Иоанн. Печати его царствования переделывались, монета переливалась, деловые бумаги с именем императора Иоанна предписано было собирать и высылать в Сенат.
Что касается остальных членов семьи, то Анна Леопольдовна в ссылке примирилась с мужем, несмотря на то, что Юлианна Менгден оставалась при ней. Анна родила одного за другим еще четверых детей – Екатерину, Елизавету, Петра и Алексея. В 1746 году бывшая правительница умерла очередными родами. Все ее дети и муж пробыли в строгом заключении до 1780 года, когда они были освобождены Екатериной II, и на корабле «Полярная звезда» отправлены в датский городок Горсен. Впрочем, счастья это никому не принесло: датского языка никто из брауншвейгского семейства не знал, а из-за отсутствия общения многие страдали психическими отклонениями. Все они остались холостяками и старыми девами.
Дольше всех прожила Екатерина Антоновна. Сохранилось ее письмо, написанное с ошибками, адресованное духовнику незадолго до смерти: «…мне было в тысячу раз лючше жить в Холмогорах, нежели в Горсенсе… меня датские придворные не любят и часто оттого плакала и теперь горькие слезы проливаю, проклиная себя, что я давно не умерла».
Елизавета процарствовала двадцать лет – долго и, по выражению историка Ключевского, «не без пользы». Первое время она старалась вникать в государственные дела, подражать своему отцу. Императрица демонстративно упразднила Кабинет министров, от которого, как гласил указ, «произошло немалое упущение дел, а правосудие совсем в слабость пришло». Так же демонстративно восстановила роль Сената и коллегий. Она недолюбливала раскольников, но разрешила проповедовать буддистским ламам. Она закончила русско-шведскую войну и начала Семилетнюю. Отменила смертную казнь. Ограничила пытки, а несовершеннолетних (до 17 лет) и вовсе запретила пытать, несмотря на возражения Синода, доказывавшего, что, по учению святых отцов, возраст совершеннолетия – 12 лет. При Елизавете были основаны первые русские банки – Дворянский, Купеческий и Медный.
Шестнадцать из двадцати лет правления Елизаветы всеми делами руководил граф Алексей Петрович Бестужев-Рюмин.