Древняя внутренняя планировка корпуса полностью изменена. Самым парадным помещением прежде являлась большая сводчатая палата, именуемая Крестовой, — приемный «зал» архиерея. Подобные роскошно оформленные палаты встречаются в большинстве архиерейских дворов Руси. Вологодская Крестовая палата имела также богатое внутреннее убранство. Она хорошо освещалась семью окнами с железными решетками и слюдяными «окончинами»; в центре ее висело большое медное паникадило, по стенам — многочисленные иконы в богатых окладах. Пышную обстановку дополняли обитое темно-зеленым сукном «архиерейское место»-седалище с бархатной, расшитой золотом подушкой — и железные «боевые» часы с медными украшениями. (Крестовая палата в 1770-е годы была переделана в церковь; в 1841 году ее объединили с помещениями верхнего этажа, в результате чего образовался существующий двусветный зал, используемый ныне музеем.)
К концу XVII века относится трехэтажный корпус, примыкающий с юга к архиерейским палатам и в настоящее время соединенный с ним в одно здание. По имени строившего его архиепископа он носит название Гаврииловского. Наружное убранство его, судя по отдельным фрагментам, было выдержано в духе московского живописного узорочья середины XVII столетия. Нарядно и красочно выглядит уцелевший под галереей широкий портал с колонками по бокам и килевидным завершением, а также два эффектных трехлучевых «фронтона» над окнами второго этажа — остатки древних наличников.
Продолжает это здание (к западу) так называемый Иринеевский корпус. В действительности он никак не связан с деятельностью архиепископа Йринея (1775–1796) и относится, по-видимому, к первой трети XVIII века. Однако архитектура его, в частности сводчатые палаты нижнего яруса и их оконные обрамления, еще целиком выдержана в традициях XVII века.
Крытый двухъярусный переход первой половины XVIII века соединял церкви Рождества Христова и надвратную Воздвиженскую. В нижнем ярусе его — двухарочный проезд в северо-восточную, изолированную часть комплекса, называемую Консисторским двором. Он оказался обособленным в результате сооружения в период 1740 и 1753 годов одноэтажного здания между архиерейскими палатами и северной стеной крепостной ограды. В 1770-х годах архиепископ Иосиф Золотой надстроил над зданием второй этаж для духовной семинарии. Позднее, в 1809 году, здесь разместилась консистория. Во второй половине XIX века ее перестроили, одновременно изменив фасады с некогда эффектными фигурными наличниками.
Главное здание Архиерейского дома — новые архиерейские палаты — называют обычно по имени создавшего их архиепископа палатами Иосифа Золотого. Густая зелень разросшихся деревьев и кустов небольшого садика, разбитого перед палатами, почти скрывает со стороны двора это трехэтажное здание дворцового типа (илл. 15). Архитектура его отличается роскошным и изысканным наружным убранством, выдержанным в пышных формах барокко. Торжественная латинская надпись на фризе главного фасада, обращенного внутрь двора, гласит: «Начата постройка сего дома в 1764 году, при помощи освящающей свыше благодати святого духа, окончена в 1769 году».
Объемно-композиционное построение палат тождественно дворцовым сооружениям елизаветинской эпохи. Нижний этаж трактован как цокольный. Над ним возвышается второй, занятый парадными помещениями; внешне он объединен с третьим, антресольным. Фасады, украшенные широкими плоскими пилястрами и рустовкой на углах, завершены мощным антаблементом с раскреповками. Пышные лепные наличники оконных проемов имеют на каждом этаже свою, особую форму. Центральные части фасадов отмечены богато декорированными выступами — ризалитами. Особенно эффектен ризалит главного фасада со спаренными пилястрами, прихотливо изогнутыми оконными наличниками и вычурным, волнистым фронтоном. Нарядность здания усиливает полихромная окраска: стены раскрашены под красную кирпичную кладку с белыми швами, ризалиты — под «брильянтовый руст» (треугольниками), а пилястры и наличники сделаны белыми. В целом палаты Иосифа Золотого представляют собой великолепный образец развитого барокко, явно занесенного в Вологду из Петербурга каким-либо талантливым столичным зодчим.
В середине 1790-х годов к зданию с западной стороны главного фасада была пристроена лестничная клетка, украшенная спаренными полуколоннами, с оригинальной крышей-куполом.
Интерьеры палат почти не сохранили своего первоначального убранства, В отдельных помещениях осталась лишь лепная отделка потолков и ряд интересных печей.