Именно в 1770 году личным архитектором Воронцовых становится Николай Петрович фон Берг (Берг, Фонберг, в разных документах его фамилия записывается по-разному, известно, правописание в то время было весьма свободным). По его проектам строятся усадьбы в Андреевском и Милете (а возможно, и в Мурине), церкви в Семеновском Костромской губернии и в Больших Апабухах Тамбовской губернии. Он получал в год 120 рублей жалованья, на прогоны (т. е. на проезд) и продукты к столу. С назначением в 1778 году Романа Илларионовича наместником Владимирской, Пензенской, Рязанской и Тамбовской губерний Николай Петрович становится Владимирским губернским архитектором. Кстати, именно он является автором первого регулярного плана застройки Владимира. Последний раз его имя упоминается в связи с приездом в «Андреевское» в 1792 году. Возможно, его отцом был Петр Иванович Берг, землемер владимирской губернской палаты, о повышении чина которого в 1782 году самолично хлопотал Роман Илларионович. Более подробных сведений об архитекторе найти не удалось.
Александр Романович по его проекту перестроил господский дом, превратив его в грандиозный дворец в форме замкнутого каре. Возвел «каменные людские покои и служебные избы», амбары, кузницы, каменные скотный и конный дворы, каретные сараи, ледники, винный погреб, помещение театра… Наличие своего театра «показывало» просвещенность знати того времени, и существовало даже негласное соревновательство, чей театр лучше.
Труппа театра состояла из крепостных и соперничала в известности с театром Шереметевых в Останкине. А театр Шереметева был одним из самых известных в России. Истории известен не только театр Шереметевых, но и удивительная история любви графа Шереметева и крепостной актрисы Прасковьи Жемчуговой.
Усилиями и заботами Воронцова и его архитектора в глубине Владимирской губернии появилась престижная дворцово-парковая резиденция без привычных въездных аллей, открытого парадного двора с разъездным в центре партером, соединившая старые русские традиции с новыми веяниями в архитектуре и паркостроении, отвечавшая характеру и потребностям владельца. Усадьба удобно расположилась в междуречье речек Пекши и Нергили, на обособленном участке в виде полуострова, тянущегося с севера-востока на юго-запад вдоль прихотливо изгибающейся Нергили, на правом ее берегу. Здесь, на возвышении, напротив села Андреевского, расположенного на левом берегу Нергили, и построили каменную домовую церковь, на которую была ориентирована въездная улица – Торговая.
Вдоль его северной границы была проложена вторая – Слободская – улица, ведущая от дворца к реке Нергиль.
Напротив сада шла поперечная, третья – Неугодовская – улица, с западной ее стороны построили конный двор. На восточной создали хозяйственную зону со скотным и птичьим дворами, непременным атрибутом барской усадьбы, и слободой служителей и мастеровых. Несколько запоздалое обращение архитектора к раннему барокко объясняется тем, что здесь уже стоял двухэтажный каменный усадебный дом, а в начале 1770-х гг. лишь надстраивали третий этаж и пристраивали к зданию служебные флигеля и надвратную башню, образовавшие традиционный «красный» (дворцовый) внутренний двор.