«Гатчинский капрал», «бульдог», «людоед», «изверг» (так назвал Аракчеева Николай I, отправивший графа в отставку), «обезьяна в мундире», «ничтожный солдафон», «временщик» и даже «Змей Горыныч». Н.А.Саблуков вывел следующую нелицеприятную характеристику: «По наружности Аракчеев походил на большую обезьяну в мундире. Он был высок ростом, худощав и жилист; в его складе не было ничего стройного, так как он был очень сутуловат и имел длинную тонкую шею, на которой можно было бы изучать анатомию жил, мышц и т. д. Сверх того, он как—то судорожно морщил подбородок. У него были большие мясистые уши, толстая безобразная голова, всегда наклоненная в сторону; цвет лица его был не чист, щеки впалые, нос широкий и угловатый, ноздри вздутые, рот большой, лоб нависший. Чтобы дорисовать его портрет, у него были впалые серые глаза, и все выражение его лица представляло странную смесь ума и злости». Офицер А. К. Гриббе дополнял: «Фигура графа, которого я увидел тогда впервые, с толстым, весьма неизящным носом формы башмака, довольно длинным подбородком и плотно сжатыми губами, на которых никто, кажется, никогда не видывал усмешки; верхняя губа была чисто выбрита, что придавало его рту еще более неприятное выражение. Прибавьте ко всему этому еще серую, из солдатского сукна куртку, надетую сверх артиллерийского сюртука, и вы составите себе понятие о внешности этого человека, наводившего страх не только на военные поселения, но и на все служившее тогда в России». Слагались многочисленные бранные песни с неправильно произносимой фамилией графа: «Ты, Ракчеев господин, // Всю Россию разорил, // Бедных людей прослезил, // Солдат гладом поморил, // Дороженьки проторил, // Он канавушки прорыл, // Березами усадил, // Бедных людей прослезил!» В 1882 г. историк Богословский вынес неутешительный вердикт личности временщика: «Ему не суждено было принадлежать к числу тех людей, деяния и предначертания которых переживают целые поколения. От него осталось одно прозвище „аракчеевщина“, синоним словам „татарщина“, „архаровщина“ и другим подобным, которые так неприятно поражают наше ухо».
Став военным министром, Аракчеев подал в отставку через две недели. По какой причине?