Его сын Михаил Семенович по возвращении в 1801 году в Россию выбрал военную карьеру, участвовал во всех походах против Наполеона. В Отечественную войну 1812 года он командовал дивизией, под Можайском был ранен в ногу и выехал на лечение в «Андреевское», остановился в Москве, в слободском доме, «где нашел множество подвод, высланных из подмосковной его (Милета) для отвоза в дальние деревни картин, библиотеки, бронз и других драгоценностей. Узнав, что в соседстве дома его находились в больницах и партикулярных (т. е. в домах обычных жителей. –
Этот рассказ послужил прообразом сцены отъезда Ростовых из Москвы в романе Л. Н. Толстого «Война и мир». В рапорте управляющего Семену Романовичу в Лондон даны более точные сведения: «А как его сиятельство для излечения раны с 28 августа по 29 октября изволил пребывать в Андреевском с ним были раненые же граф Санприест, граф Гудович, генерал Кретов, штаб– и обер-офицеров 42, нижних чинов и рядовых 65. Всего 110 человек, кои все довольствованы были столом, вином и пр., у господ чиновников, денщиков, людей пища и для 200 лошадей овес и сено покупаемо было… то на все израсходовано 22614 рублей… из Москвы вывезено серебро, ренские вина, крепости и планы 20, все остальное было разграблено и сожжено…»
Еще в Париже, будучи командиром русского корпуса во Франции, Михаил Семенович женился на Елизавете Ксаверьевне Браницкой. В 1820 году Воронцов повез ее в «Андреевское» и усадьба Елизавете Ксаверьевне очень понравилась. К сожалению, в дальнейшем, если они и бывали в родовом гнезде, то только наездами, так как в 1823 году Михаила Семеновича назначили генерал-губернатором Новороссии и Бессарабии, а в 1844 году наместником Кавказа. В 1834 году Михаил Семенович включил «Андреевское» в майорат.
Сын Воронцовых Семен Михайлович тоже не часто посещал «Андреевское», но в 1865 году установил на могиле Александра Романовича новую мраморную доску и бронзовую решетку, а через десять лет отремонтировал домовую Андреевскую церковь. В течение ста лет после смерти основателя усадьбы постройки постоянно ремонтировались, исчезали со временем различные службы и мастерские, дома сдавались в аренду, перестраивался конный двор, но главный корпус дворца стоял в неприкосновенности пустым, правда, все в нем ветшало. В 1913 году, когда «Андреевское», как и все майоратные имения Воронцовых, принадлежало графине Елизавете Андреевне Воронцовой-Дашковой, ею была сделана подробная опись всех строений усадьбы.
После революции 1917 года усадьба была национализирована. Андреевский храм приспособили под клуб, а потом стали использовать в качестве гаража. Вполне обычное использование барских домов в то время. В усадебных постройках с 20-х годов XX века размещались различные учреждения здравоохранения. В последнее время здесь располагался детский областной пульмонологический санаторий, закрытый в 2012 году.
В годы Великой Отечественной войны в усадьбе располагался военный госпиталь. После войны в усадьбе опять размещается туберкулезный санаторий, параллельно с этим производится ряд перестроек, возникают новые сооружения, нарушающие историческую планировочную структуру усадьбы.
На основании Указа Президента Российской Федерации № 176 от 20.02.1995 ансамбль усадьбы признан объектом культурного наследия и поставлен на государственную охрану.
За последнее десятилетие усилиями Владимиро-Суздальской Епархии была восстановлена церковь св. Андрея Первозванного, и 28 января 2001 года состоялось архиерейское освящение храма.
Чтобы сохранить старинную усадьбу и приспособить ее к современному использованию, требуются полное инженерное обследование несущих конструкций здания дворца, разработка проектных предложений по их усилению, проведение комплексных ремонтно-реставрационных работ. На это требуются больше средства, но их, как известно, «на культуру» обычно не хватает. Но деньги это еще не все, необходим хозяин, мудрый и рачительный. Поскольку, Александр Романович Воронцов был первым министром иностранных дел, одним из основоположников русской дипломатии, может, МИД заинтересуется сохранением такого замечательного наследия, тем более что в начале 2000-х годов МИД принял деятельное участие в реставрации его захоронения, которое расположено в церкви при усадьбе. Руководитель МИДа обещал рассмотреть вопрос о вариантах дальнейшего использования усадебного комплекса.