Второе по времени каменное здание Архиерейского двора — большой трёхэтажный Симоновский корпус (или Архиерейские палаты) с одноглавой домовой церковью Рождества Христова, названный по имени архиепископа Симона, при котором он был построен в 1669–1671 годах. В XVII и первой половине XVIII века это было самое роскошное здание не только в епископской резиденции, но и во всей Вологде. Позднейшие пристройки значительно исказили внешний и внутренний облик этого сооружения. В результате реставрации 1960 года был частично восстановлен прежний роскошный архитектурный декор фасадов здания. В настоящее время Симоновский корпус по праву может служить прекрасным образцом гражданской архитектуры второй половины XVII века.
Сразу после появления епископского «дворца» Архиерейский двор в очень короткий срок (1671–1675 гг.) был обнесён высокими каменными стенами с многими неразрывно связанными с ними хозяйственными постройками, несколькими воротами и четырьмя башнями на углах образованного стенами неправильного четырёхугольника. Годы построения стен отмечаются в исторических документах, как времена крайне дешёвой рабочей силы: в Вологде был голод, и население работало «из хлеба безденежно». Этим воспользовался епископ Симон, при котором были построены и крепостные стены, и первые Архиерейские палаты с церковью Рождества Христова.
Высокая ограда с её бойницами, с крытыми переходами по внутренней стороне, построенная по правилам фортификационного искусства XVII века, напоминает крепость, хотя и никогда не подвергалась вражескому нападению. Эти внешние атрибуты древнерусского крепостного зодчества имели чисто символический смысл. Возведение столь мощных стен вологодского двора было вызвано идеологическими задачами возвеличения и прославления церкви и самого архиерея. Сооружение обширных и парадных резиденций духовных властей типично для конца XVII века.
Первоначально стены были покрыты на один скат деревянной крышей на столбах. Под крышей с внутренней стороны устроен переход с перилами, позволяющий пройти по всему периметру ограды.
В архиерейской ограде было несколько ворот, но почти все они в настоящее время заложены. Главными были Святые (или Трёхсвятные) ворота, расположенные в восточной стене, прямо против Софийского собора (ныне заложены). Святые ворота представляли собой нарядную двухъярусную постройку. Часть нижнего яруса ворот, обращённая к собору, сохранилась и даёт представление об их былом декоре.
В конце XVII века над выходящими к Софийскому собору воротами взамен трёх небольших шатров поставили небольшую одноглавую церковь Воздвижения. На месте юго-восточной башни в XVIII веке построен Воскресенский собор.
Постепенно в Архиерейском дворе возникали новые постройки, переделывались и надстраивались прежние. Многие каменные постройки внутри двора, неразрывно связанные со стенами, воспринимаются как одно целое с ними. Они представляют определённый интерес как редкие из сохранившихся образцов хозяйственных построек XVII века.
В конце XVII — начале XVIII века, при архиепископе Гаврииле на Архиерейском дворе появилось новое трёхэтажное здание, названное впоследствии Гаврииловским корпусом. С юга он примыкал к архиерейским палатам (Симоновскому корпусу), а в настоящее время соединён с ними в одно здание.
Вскоре после его появления, в противоположной, восточной части двора к северному торцу Экономского корпуса было пристроено простое двухэтажное здание, как бы соподчинённое Экономскому в функциональном отношении — Безымянный корпус (в нём находились казённая и казначейская кельи).
В середине XVIII века Гаврииловский корпус был как бы продолжен к северу двухэтажным каменным зданием, названным Иринеевским корпусом.
В 1740-х годах перпендикулярно к Симоновскому корпусу, к восточному концу его северного фасада примкнули одноэтажные каменные кладовые. В эти годы деревянные закрытые переходы, соединявшие домовую Рождественскую и надвратную Воздвиженскую церкви, были заменены крытым двухъярусным переходом, имеющим окна с обеих сторон. В его нижнем ярусе находится двухарочный проезд в северо-восточную, изолированную часть комплекса, оказавшуюся обособленной в результате сооружения здесь между 1740 и 1753 годами одноэтажного здания, расположившегося между архиерейскими палатами и северной стеной крепостной ограды. В 1770-х годах над зданием был надстроен второй этаж, и оно было отдано переведённой сюда духовной семинарии, а позднее, в XIX веке, — здесь разместилась сильно разросшаяся Консистория.
С тех пор Консисторскими стали называть и сам корпус и образовавшийся благодаря его появлению небольшой дворик. Корпус этот был сильно переделан, вероятно, во второй половине XIX века, при этом были изменены фасады с некогда эффектными фигурными наличниками. Первоначально внешний вид корпуса был иным и почти наверняка выдержан в стиле барокко. Разумеется, и в XVIII веке здание было гораздо скромнее Иосифовского корпуса.