В 1816 году Ермолов был назначен командиром Отдельного Грузинского (затем Кавказского) корпуса, затем главнокомандующим русскими войсками в Грузии и одновременно чрезвычайным и полномочным послом России в Персии (Иране). Ему подчинялись Каспийская военная флотилия, Черноморское казачье войско и Терское казачество, Астраханская и Кавказская губернии.
С именем Ермолова связано начало длительной Кавказской войны против горцев. Он был последовательным сторонником активного продвижения Российской империи на восток.
На Кавказе генерал Ермолов блестяще выполнил возложенную на него дипломатическую миссию. Переговоры в Тегеране для российской стороны завершились успешно. Персия отказалась от территориальных притязаний на кавказские земли, и до 1826 года обстановка на российско-иранской границе была спокойной.
В течение последующих десяти лет командующий русскими кавказскими войсками успешно боролся с «мятежниками»-горцами. Он перенес укрепленную линию, бывшую южной государственной границей, с берегов Терека на реку Сунжу. В 1818 году здесь был создан опорный пункт русских войск в Чечне – крепость Грозная. Затем Сунженская линия протянулась до побережья Каспийского моря: на ней были построены крепости Внезапная и Бурная. Укрепленные линии создавались и по берегам рек Малка и Кубань.
После этого пришел черед Кавказских гор. От Сунженской линии сквозь вековые леса стали прорубаться просеки, по которым русские отряды ходили против «немирных» аулов и областей Чечни. Непокорных горцев Ермолов карал жестоко, по законам военного времени – «немирные» аулы подвергались разгрому, а их жители переселялись из гор и лесов на равнинные земли. По восточным обычаям, он приказывал брать заложников – аманатов, которые своей жизнью гарантировали покорность своих соплеменников.
Перенос укрепленной линии с Терека на реку Сунжа консолидировал враждебно настроенных к России горцев – они поняли тактику царского командующего, стремившегося с войсками закрепиться на их территориях. Теперь над теми феодальными образованиями, которые приняли подданство Российской империи – Тарковским шамхальством, Каракайтагским уцмийством, и другими, – нависла военная угроза соседей. Для их поддержки Ермолов посылал воинские отряды. Во главе одного из них он нанес поражение мятежному хану Ахмету и ликвидировал Мехтулинское ханство.
В начале 1919 года генерал Ермолов во главе сильного отряда русских войск штурмом взял высокогорное селение Акуши – центр Акушинского (Даргинского) союза, расположенного в Среднем Дагестане. Акушинцы, один из самых воинственных народов Северного Кавказа, доселе еще никому не покорялись. Но подданство России им пришлось принять.
Вскоре были покорены Приморский и Южный Дагестан. В Чечне были разгромлены отряды Бей-Булата. Военные экспедиции против закубанских народов – черкесов, которые постоянными набегами тревожили укрепленную линию на Кубани, также завершились успешно. Наступательная тактика русских войск давала хорошие результаты, и постепенно очаги военного противостояния российскому влиянию в горах стали локализовываться, хотя до окончания Кавказской войны было еще очень далеко.
За свою деятельность Ермолов получает прозвище «проконсул Кавказа». В подвластном ему Закавказье он упразднил Шекинское, Карабахское и Ширванское ханства (на территории современного Азербайджана), правители которых не раз изменяли клятвам в верности России. Подавил мятежи против местной, своей администрации в Имеретии, Мингрелии и Абхазии.
Суровый к врагам, Ермолов оставался заботливым командиром для своих солдат. Он запретил изнурять нижних чинов и офицеров учениями, прежде всего строевыми. Улучшил продовольственное снабжение. Вместо касок разрешил носить папахи, вместо тяжелых ранцев – холщовые мешки, вместо шинелей зимой – полушубки. В местах расквартирования полков строились жилые помещения. На сбереженные во время поездки в Персию деньги Ермолов построил в Тифлисе военный госпиталь.
Как глава императорской администрации, генерал А.П. Ермолов многое сделал не только для налаживания мирной жизни на Кавказе, но и для его экономического развития. Расширялась сеть путей сообщения и обеспечивалась их безопасность. Торговля и предпринимательство, особенно горное дело, получили покровительство. На Кавказских минеральных водах были устроены лечебные заведения.
Влияние Ермолова на положение дел на Кавказе и его необыкновенная популярность в русских войсках не остались не замеченными в Санкт-Петербурге. С воцарением Николая I судьба Ермолова была предрешена. Во-первых, он промедлил с приведением к присяге новому императору кавказских войск, ожидая развития событий в столице. Во-вторых, он открыто покровительствовал сосланным на Кавказ декабристам.