В мае 1828 года Алексей Андреевич обратился к петербургскому купцу Гавриле Осиповичу Москвину с просьбой заказать в Москве на колокольном заводе купца Самгина два колокола весом соответственно в 25 и 20 пудов и доставить в село Грузино. На одном граф просил вычеканить и отлить образ своей возлюбленной со следующей надписью: «В поминовение усопшей рабы Божией Анастасии. Г. А. в село Оскую 1828-го году, весу в колоколе столько-то пуд». На другом заказывал поместить образ Николая Чудотворца с надписью: «За упокой усопших рабов Божиих крестьян Грузинской вотчины. Г. А. в церковь Грузинского кладбища 1828-го году, весу в колоколе столько-то пуд».
Поминая Настасью Минкину, Аракчеев вспомнил и о крестьянах. Кто знает, быть может, хотел он
Всегда отличавшийся грубой чувственностью и сквозь пальцы глядевший на распутство некоторых из своих дворовых девушек, он вдруг сделался под старость ревнителем строгой нравственности и целомудренности среди крестьян и дворовой прислуги. Вот образчик одного из многочисленных его приказов на сей счет: «Я объявляю письменно, что всякую вину прощу; но разврата в доме моем терпеть никогда не буду и буду очень строго оное взыскивать, и тот мне всякий враг будет, который развратничать будет у меня на мызе; ибо Господь Бог послал на меня все печали за бывшее в моем доме непотребство и разврат».
Года два Аракчеев обходился без домоправительницы. Затем начал искать на эту хлопотную должность подходящего человека. Нашел смышленую и трудолюбивую женщину — Марию Яковлеву. Та немало слышала дурного о графе, но, будучи в крайней нужде и с умиравшим мужем на руках, согласилась. Муж вскоре умер, и Мария целиком отдалась делам, однако не сумела угодить капризному хозяину и, пробыв в Грузине два года, принуждена была покинуть село.
Алексей Андреевич после этого в свою очередь окончательно разочаровался в способности русских быть хорошей прислугой и держать дом в порядке. Во время заграничного вояжа и некоторое время по возвращении из него у графа был камердинером немец Тепфер, который затем перебрался в Ригу. К нему и обратился Аракчеев за помощью: «Вы, кажется, знаете ныне мой характер и образ моей жизни, то не сыщите ли хорошаго, добраго старичка немца, женатого, быть у меня дворецким с женою и управлять кухнею, чем бы вы мне сделали услугу, за которую я бы был благодарен; но оной человек должен от вас предуведомлен быть о моей аккуратной жизни, и который бы решился на деревенскую уединенную жизнь и не любил бы хмельного. Тогда бы он нашел во мне к себе хорошо расположенного хозяина; но знал бы о моем мнительном характере, с которым должно ласково обходиться. Таковой бы человек нашел у меня во всю жизнь покойное убежище».
Тепфер не смог выполнить просьбу Аракчеева. Впоследствии с помощью доктора Миллера граф нашел себе экономку, родом из Финляндии, Анну Карловну Никандер. Но эта женщина, лет примерно сорока, осмотрев хозяйство Аракчеева, заявила, что она по возрасту своему не сможет с ним управиться, однако знает женщину из Мемеля, которая вполне способна будет это сделать. Новая экономка, Каролина Розенберг, продержалась в Грузине всего два месяца. После нее Алексей Андреевич никого уже себе не искал, справедливо решив, что кроме покойной Настасьи Минкиной никто с должностью домоправительницы в Грузине справиться не в силах.
И в старости своей Аракчеев сохранял крайнюю приверженность к чистоте и порядку. Особенно не мог терпеть он пыли. И в то же время любил украшать свой дом и его окрестности цветами. Первые годы после ухода со службы граф чрезвычайно увлекался садоводством. Выписывал из-за границы семена, пытался привить и вырастить в своем саду небывалые для данной местности растения.
Года за два до смерти Алексей Андреевич стал сильно уставать. Поэтому отошел от садоводства. Игры в карты, чтение газет вперемежку со сном, беседы с редкими гостями, наезжавшими в Грузино, составляли его основное времяпрепровождение в это время. Дворовые почувствовали, что граф стал добрее. Он и прежде любил поощрить хорошо работавших и державших свои дома в чистоте крестьян различного рода подарками или пятачками, но теперь поощрения стали даваться им за малейшую исправность в работе — часто просто из доброго настроения. Или напротив — из плохого. Разбранив кого-либо из крестьян почем зря, граф старался как-то загладить свою вину и давал ему пятачок.