Другим непоправимым ударом для Аракчеева стало отсутствие ощутимой для государства пользы от придуманных им военных поселений, главным начальником которых он был. Военные поселения, как особая организация войск в России в 1810–1857 гг. с целью уменьшения военных расходов, совмещали военную службу с занятием сельским хозяйством. Введенные в них Аракчеевым безграничная муштра, жесткий режим, строгая регламентация жизни вызывали многочисленные недовольства и восстания (1819, 1831 гг. и др.); при этом военные поселения не смогли обеспечить себя продовольствием, и не была решена задача комплектования за их счет армии. Стало ясно, что век военных поселений недолог.
Учитывая общее недовольство А.А. Аракчеевым, император Николай I уволил его и удалил от двора. Аракчеев испил на старости лет чашу горести сполна: государю – его оставшемуся земному божеству он был больше не нужен, соотечественники в массе своей его не любили (а чаще ненавидели, не желали общаться с ним), потомства у него не было. Он безвыездно жил в своем имении Грузино, где умер в возрасте 65 лет. А в фамильном имении Аракчеевых Гарусово продолжали хозяйствовать его ближайшие родственники, также сделавшие карьеру. Его брат Петр (р. 1776 г.) стал флигель-комендантом при императоре Александре I, а другой брат – Андрей (р. 1778 г.) занял пост коменданта Киева.
Со временем в Гарусово о грозном А.А. Аракчееве и его непростой судьбе забыли, тем более что живописные места на берегу озера Удомля стали привлекать (и привлекают) художников, прославивших местные красоты и принесших новую известность и славу этому скромному имению, тем более, что его хозяева – дворяне Аракчеевы – были неизменно гостеприимными людьми. (Нужно особо отметить, что в царский период хозяева тверских имений: Гарусово – Аракчеевы, Сигово – Колокольцевы, Горка – Турчаниновы, Островно – Ушаковы, а также в Старицком уезде Куроковское-Покровское – Панафидины и другие, – всегда радушно принимали художников, старались создать условия для плодотворного творчества в их усадьбах, расположенных в живописных местах около озер.)
А.А. Аракчеев. Литография Г.А. Гиппиуса. 1822 г.