На Кавказском театре военных действий он впервые оказался в 1796 году, когда артиллерийская батарея, в которой служил Ермолов, в составе русских экспедиционных войск отличилась в Персидском походе брата последнего фаворита Екатерины II Платона Зубова – генерал-аншефа Валериана Зубова. Тогда русские войска, взяв штурмом крепость Дербент, дошли до персидских границ по Араксу. За участие во взятии Дербентской крепости Ермолов был награжден орденом Святого Владимира 4-й степени.
За участие в смоленском офицерском политическом кружке «Вольнодумцы» в 1798 году Ермолов был арестован и заключен в Петропавловскую крепость. После проведения следствия его сослали в Кострому «на вечное житье». Вместе с ним ссылку здесь отбывал М.И. Платов (с 1801 года – атаман Донского казачьего войска).
Однако в армии офицер имел репутацию способного и перспективного артиллерийского командира. Когда начались французские революционные войны, Ермолова возвратили на военную службу. Настороженное же отношение к себе царских властей он ощущал до последних дней своей жизни.
В войне с наполеоновской Францией 1805–1807 годов Ермолов участвовал в должности командира конно-артиллерийской роты. Он быстро выдвинулся на командные должности во многом благодаря своей храбрости и умению в критические моменты боя брать на себя всю ответственность за его исход.
В составе кутузовской армии Ермолов отличился в сражении при Амштеттине, где его конно-артиллерийская рота, выдвинувшись вперед, метким огнем прикрыла от французов расстроенные эскадроны Мариупольского гусарского полка. В сражении под Аустерлицем орудийные расчеты Ермолова вели огонь по атакующей вражеской кавалерии до последней возможности, не покинув занимаемой позиции. Затем его 40 орудий прикрывали отступавшую русскую армию на переправе через реку Нарев по единственному мосту.
На территории Восточной Пруссии ермоловская конно-артиллерийская рота отличалась не раз. При отходе русских войск она находилась в составе арьергарда, не раз отбрасывая наседавших французов картечными залпами в упор. В сражении при Прейсиш-Эйлау артиллеристы Ермолова успешно действовали против корпуса маршала Франции Даву. Под Гутштадтом они уничтожили неприятельскую батарею.
За отличия в Русско-прусско-французской войне 1806–1807 годов он был удостоен нескольких боевых наград, в том числе золотой шпаги. Его дважды представляли к званию генерал-майора, но каждый раз безуспешно – тогда еще всесильный Аракчеев был против (Ермолов имел неосторожность резко возразить ему на замечание во время смотра войск).
Отечественную войну 1812 года Ермолов встретил в должности начальника Главного штаба 1-й русской Западной армии генерала М.Б. Барклая-де-Толли, военного министра России. Он участвовал в сражениях при Валутиной Горе близ Смоленска, Бородине, Малоярославце. За успешный бой у Заболотья получил чин генерал-майора.
Перед Бородинским сражением главнокомандующий М.И. Голенищев-Кутузов послал генерала Ермолова в армию Багратиона для приведения в порядок ее артиллерии, понесшей большие потери в борьбе с неприятельскими батареями. В критический для сражения момент, когда французы овладели батареей Раевского, Ермолов лично повел в штыковую атаку батальон Уфимского пехотного полка и отбил у французов оставленные было укрепления. После этого он три часа руководил обороной батареи Раевского, пока не был ранен картечью в шею.
После Бородинского сражения Ермолов был назначен начальником объединенного штаба 1-й и 2-й русских Западных армий. На военном совете в Филях он выступил за новое сражение с Великой армией Наполеона под стенами Москвы.
Алексей Петрович Ермолов отличался не только решительностью и смелостью, но и прозорливостью. Узнав, что французские войска, оставив Москву, двинулись по Боровской дороге, Ермолов по своей инициативе, на свой страх и риск от имени главнокомандующего изменил маршрут движения корпуса Д.С. Дохтурова, направив его к Малоярославцу. Таким образом, Наполеону был перекрыт путь к Калуге и дальше на юг России. После ожесточенного сражения при Малоярославце французской армии пришлось отступать по опустошенной еще при наступлении российской территории.
Как начальник объединенного штаба, генерал Ермолов участвовал в организации преследования наполеоновской Великой армии. За участие в Отечественной войне 1812 года герой Бородинской битвы удостоился звания генерал-лейтенанта.
В начале заграничных походов русской армии 1813–1814 годов Ермолов был назначен начальником артиллерии союзных армий, затем – командиром гвардейской пехотной дивизии, которая отличилась в сражении при Бауцене, выдержав все атаки французских войск, которыми лично командовал Наполеон Бонапарт. В сражении под Кульмом Ермолов заменил раненого генерала Остермана-Толстого и одержал победу.
При взятии столицы Франции он успешно командовал гренадерским корпусом. «За отличие при взятии Парижа» генерал-лейтенант А.П. Ермолов удостоился полководческой награды – ордена Святого Георгия 2-й степени.