В 1815 году Ермолов получил пост командующего отдельным Грузинским (позднее Кавказским) корпусом и одновременно чрезвычайного и полномочного посла в Иране. В то время, когда в Центральной России процветали муштра солдат и наказание их палками, Алексей Петрович запретил изнурять войска фронтовыми учениями. Он разрешил носить полушубки вместо шинелей и папахи вместо киверов, а вместо громоздких ранцев — холщовые мешки; деятельно занимался устройством госпиталей и учебных учреждений. При нём начались систематические работы по прокладке в крае дорог.
Подчинённые любили Ермолова. Он был строг, но никогда не позволял себе хамства и грубостей. «Я люблю видеть сего Ахилла в гневе, — говорил генерал Марин, — из уст которого никогда не вырывается ничего оскорбительного для провинившегося».
Деяния Ермолова на Кавказе отмечал А. С. Пушкин. 24 сентября 1820 года он писал брату Льву: «Кавказский край, знойная граница Азии, любопытен во всех отношениях. Ермолов наполнил его своим именем и благотворным гением. Дикие черкесы напуганы: древняя дерзость их исчезает. Дороги становятся час от часу безопаснее, многочисленные конвои — излишними. Должно надеяться, что эта завоёванная сторона скоро сблизит нас с персиянами безопасною торговлею, не будет нам преградою в будущих войнах».
В эпилоге поэмы «Кавказский пленник», перечисляя завоевателей этого края, Александр Сергеевич упомянул и Ермолова:
Персидская война на Кавказе сменилась Русско-турецкой (1828–1829), но завершить её Алексею Петровичу не пришлось. После восстания декабристов его отстранили от командования Кавказским корпусом, так как была обнаружена его связь с «мятежниками»: государственными преступниками оказались бывшие адъютанты генерала — Павел Граббе, Михаил Фонвизин и ряд других офицеров. В протоколах Следственного комитета по делу декабристов появилась следующая запись: «Генералу Ермолову хотя неизвестно существование тайного общества, но он покровительствовал оному посредством приближённых лиц, которые суть члены того общества».
25 ноября 1827 года Алексей Петрович был уволен в отставку «по домашним обстоятельствам» с мундиром и пенсионом полного жалованья.
Удаление с Кавказа военачальника, едва достигшего пятидесяти лет и бывшего в полном расцвете своих способностей, произвело неприятное впечатление на русское общество, в котором он был популярен. Даже осторожный И. А. Крылов отозвался на это событие баснями «Конь» и «Булат». В первой из них говорится о прекрасном испытанном в боях коне, который достался:
Во второй басне рассказывается о булатном клинке. Он заброшен под лавку крестьянской избы, где с ним заговаривает сосед-ёж:
В период опалы прославленного генерала его посетил Пушкин, о чём и поведал потомкам в очерке «Путешествие в Арзрум»: «Из Москвы поехал я на Калугу, Белев, Орёл и сделал таким образом 200 вёрст лишних, зато увидел Ермолова. Он живёт в Орле, близ коего находится его деревня. С первого взгляда я не нашёл в нём ни малейшего сходства с его портретами, писанными обыкновенно профилем. Лицо круглое, огненные серые глаза, седые волосы дыбом. Голова тигра на Геркулесовом торсе. Когда же он задумывается и хмурится, то он становится прекрасен и разительно напоминает поэтический портрет, писанный Довом».