К этому времени усадьбы была полностью благоустроена для длительного комфортного проживания и занятий, в сложном хозяйстве производилось все необходимое для жизни, а дом был, что называется, полная чаша. Впечатляет перечень предметов: картин божественных – 11, картин светских – 130, портретов – 286, статуй – 47, мраморных ваз – 23, мраморных колонн – 5, зеркал – 47, хрустальных паникадил – 5, стеклянных фонарей – 24, ломберных столов – 27, четырехугольных столов – 35, угольников – 62, кабинет – 1, шкафов – 18, бюро – 4, диванов – 26, кресел – 167, стульев – 268, канапе – 29, да еще образа, ширмы, занавеси, посуда, белье, ружья. Для поездок в разное время года в каретном сарае стояли экипажи, кареты, фаэтоны, кибитки, линейки, дрожки, возки. В 1796 году умер Лафермьер, рисунок для его надгробия прислал из Петербурга Н. А. Львов, а исполнил в мраморе скульптор Жермоли.
В 1784 и 1785 годах в имение приезжал А. В. Суворов, а в 1812 году здесь бывал и П. И. Багратион. В 1833 году в усадьбу заезжал А. С. Пушкин, знакомый с женой Воронцова. Владелец усадьбы М. С. Воронцов был ярко описан в «Хаджи-Мурате» Л. Н. Толстым.
Александр I по восшествии на престол назначил Александра Романовича канцлером, но как говорил П. В. Завадовский: «плуг плохо пахал в запряжке старого быка с юным».
Воронцов не разделял взгляды молодых друзей императора и в феврале 1804 года попросил длительный отпуск, а фактически получил отставку, уехал в «Андреевское», в конце года начал строительство Воскресенской церкви, но 2 декабря 1805 г. Александр Романович умер. Его похоронили в юго-западном углу Андреевской церкви. После смерти Александра Романовича усадьба перешла во владение его племянника – участника многих военных кампаний конца XVIII – начала XIX века Михаила Семеновича Воронцова.
Но после 1805 года никто из Воронцовых в Андреевском не жил, Семен Романович, впоследствии унаследовавший имение, посол в Англии с 1784 года по 1806-й, и после отставки остался жить в Англии.