Вспомнив на склоне лет уроки далекого детства, когда он обучился переплетному ремеслу, Алексей Петрович собственноручно переплетал книги своей библиотеки и приводил в порядок мемуары. Ермолов выработал изумительный «тацитовский слог». Недаром В. А. Жуковский сказал о нем: «Захочет – о себе, как Тацит, он напишет / И лихо рукопись свою переплетет».
Ермолов просто и кратко писал по-русски, по-французски, по-латыни и оставил замечательные по литературной и исторической ценности, но порой очень саркастические «Записки». Отойдя от государственных дел, Ермолов, любивший серьезное чтение и хорошо знакомый с классиками, общался с М. П. Погодиным, встречался с А. С. Пушкиным, молодым Л. Н. Толстым и многими знаменитыми современниками. Считая поэтов гордостью нации, он с огромным сожалением отзывался о ранней смерти Лермонтова.
«Когда Алексей Петрович, – рассказывал знаменитый мемуарист XIX в. Ф. Ф. Вигель, – появлялся в театре или в собрании, приверженные к нему русские люди, и старые и молодые, оборачивались всегда в ту сторону, где стоял Ермолов, опершись на свою верную саблю, и задумчиво смотрели на его белые волосы, на эту львиную голову, твердо стоявшую еще на исполинском туловище, и в потускневших глазах его искали глубоко запавшие мысли».
С началом Крымской войны 1853—1856 гг. московское дворянство избрало его начальником ополчения в семи губерниях. Для 76-летнего Алексея Петровича эта должность была лишь почетной, и в мае 1855 г. из-за разногласий с командованием он покинул пост. 11 (23) апреля 1861 г. Алексей Петрович Ермолов скончался в Москве. «Завещаю похоронить меня как можно проще, – писал он. – Прошу сделать гроб простой, деревянный, по образцу солдатского, выкрашенный желтою краскою. Панихиду обо мне отслужить одному священнику. Не хотел бы я ни военных почестей, ни несения за мною орденов, но как это не зависит от меня, то предоставляю на этот счет распорядиться кому следует. Желаю, чтобы меня похоронили в Орле, возле моей матери и сестры; свезти меня туда на простых дрогах без балдахина, на паре лошадей… а через Москву, вероятно, не откажутся стащить меня старые товарищи артиллеристы».