Конечно, «проблема Ивана Антоновича» была решена, но не вся: «Известная комиссия в Холмогорах» – так назывались в официальных документах узники архиерейского дома – продолжала «работать». Семья принца Антона-Ульриха (он сам, две дочери и два сына) по-прежнему жила там. Дом стоял на берегу Двины, которая чуть-чуть виднелась из одного окна, был обнесен высоким забором, замыкавшим большой двор с прудом, огородом, баней и каретным сараем. В нем три десятилетия стояли без движения кареты и возки, на которых некогда привезли Анну Леопольдовну и ее семейство. На взгляд свежего человека, жили арестанты в тесных, грязных комнатах, заставленных ветхой, убогой мебелью, с дымящими, разваливающимися печами [539] . Когда в 1765 году к ним приехал архангельский губернатор Е.А. Головцын, то арестанты жаловались, что у них совсем развалилась баня и они три года не мылись. Они во всем нуждались – в новой одежде, белье, пряжках для башмаков [540] . Мужчины жили в одной комнате, а женщины – в другой, и «из покоя в покой – одни двери, покои старинные, малые и тесные». Другие помещения в доме и строения во дворе были заполнены солдатами, многочисленной прислугой принца и его детей.
Живя годами, десятилетиями вместе, под одной крышей (караул не менялся двенадцать лет), эти люди ссорились, мирились, влюблялись, доносили друг на друга. Скандалы следовали один за другим: то Антон-Ульрих поссорился с Биной (Якобиной Менгден – сестрой Юлии, которой, в отличие от последней, разрешили ехать в Холмогоры), то солдат поймали на воровстве, а офицеров – на амурах с кормилицами. Комендант и его подчиненные безбожно пьянствовали и нещадно обворовывали Антона-Ульриха и его близких, а вечно пьяный повар готовил им какое-то несъедобное варево. С годами охранники забывали о дисциплине, ходили в расхристанном виде. Постепенно, вместе Антоном-Ульрихом, они становились дряхлыми стариками, каждый со своими причудами.