Но, в духе характера и привычек императора Павла, фавор Аракчеева кончился, и в октябре этого же года Аракчеев был вторично отстранён от службы, на этот раз до прихода к власти Александра I.
Молодой император был хорошо знаком с Аракчеевым по военной службе еще в бытность свою наследником. В мае 1803 года он восстановил Аракчеева на службе в прежних должностях командира лейб-гвардии артиллерийского батальона и инспектора всей артиллерии. Его дальнейшая служба была настолько тесно связана с военными обязанностями императора (ведь Александру по-настоящему опереться можно было прежде всего на исполнительного и знающего Аракчеева), что император не мог уже обходиться без верного друга, которому молва за императорский фавор быстро присвоила звание «временщика».
В 1805 году Аракчеев постоянно находился при императоре Александре I, в том числе и в Аустерлицком сражении, а в дальнейшем был его военным советником и уполномоченным в войне со Швецией.
В 1807 году Александр присвоил ему чин генерала от артиллерии (II класс Табели о рангах), введённый Павлом I. Это позволило Александру I назначить Аракчеева военным министром (1808), а как человека неподкупного и честного — генерал-инспектором всей пехоты и артиллерии с подчинением ему комиссариатского и провиантского департаментов.
В войне со Швецией Аракчеев провёл блистательную дипломатическую операцию. Несмотря на то, что генерал Кнорринг в условиях свержения престарелого шведского короля Густава-Адольфа и прихода на трон нового короля договорился со шведами о перемирии, Аракчеев сумел, как уполномоченный русского императора, отменить прежнюю договорённость и заключить Фридрихсгамский мир, по которому России отошли Финляндия и Аландские острова.
Много положительного внёс граф Аракчеев в организацию военного управления: были изданы новые правила, положения и инструкции касательно работы военной администрации, в том числе была упрощена и сокращена в ней канцелярская работа Много было сделано в деле повышения боеспособности армии и гвардии, особенно в артиллерийских частях. Военный министр Аракчеев учредил новые запасные рекрутские депо для новобранцев и при них организовал учебные батальоны; он ставил своей задачей повышение уровня специальной военной и общеобразовательной подготовки офицеров, следил за материальным снабжением всех подчинённых ему подразделений.
В 1810 году Аракчеев был переведён с должности военного министра на должность Председателя Департамента военных дел Государственного совета Это была более высокая должность. Она давала право присутствовать в Сенате и Комитете министров.
Весной 1812 года, в связи с нашествием Наполеона, Аракчеев изменил свою деятельность. Государь доверил ему весьма ответственную часть: создание продовольственных резервов и снабжение действующей армии продовольствием С этой задачей он справился превосходно, и Александр I проникся к своему фавориту ещё большим уважением и доверием, хотя окружение не только не любило, но даже ненавидело Аракчеева, презрительно называя его «временщиком».
Аракчеев не вызывал у окружавших его людей симпатии. Он был требователен до жестокости, не проявлял к людям ни человеколюбия, ни милосердия.
Единственный человек, которого он обожал., вернее даже боготворил, был император Александр I. Алексей Андреевич Аракчеев был необычный фаворит, которому было доверено самое важное направление государственной деятельности — военная служба, защита безопасности страны. И это поручение он исполнял неукоснительно, со всем рвением, на пользу стране. И его заботы об армии, об обучении солдат и офицеров сказались на Бородинском поле и на победах русских войск в Заграничном походе 1813–1814 годов.
Александр I, подружившись с Аракчеевым еще в пору, когда был наследником престола, до самого конца своего императорского правления находился под влиянием могущественного временщика у трона. Александр Павлович и как частное лицо постоянно общался с Аракчеевым и много раз навещал своего любимца в его имении Грузино. Императору импонировало, что на фоне почти повального взяточничества и казнокрадства человек, наделённый большими полномочиями и возможностями, никогда не думал о своих выгодах, был кристально чист. Аракчеев не брал взяток, не занимался казнокрадством, не имел целью наживу, не был тщеславен, не благоволил своим родственникам Когда Александр I предложил почтить его мать статс-дамой Высочайшего двора, Аракчеев решительно отказался, объяснив это тем, что она, деревенская старушка, не имеющая представления об этикете при Высочайшем дворе, своим нелепым поведением будет вызывать у придворных дам только насмешки. Хотя его мать, если бы узнала об этой милости императора и отказе от неё, очень бы рассердилась на сына.