«Смирись, Кавказ, идет Ермолов!..» Вспоминался рассказ, как ахнула от страха при виде его императрица Александра Федоровна, когда ему пришлось представляться ей в 1831 году. Колоссального роста, исполинского сложения, с непокорной копною волос на голове, с тяжелыми, густыми, нависшими на острые серые глаза бровями, с грозной складкой на лбу между бровей, подходил к ней широким строевым шагом герой Отечественной войны и Кавказа, и она — слабая женщина — попятилась от него в испуге, так что он, заметив это, должен был остановиться и простоять неподвижно несколько минут, чтобы она хоть несколько привыкла к его виду, прежде чем начать с ним «милостиво беседовать». Вспоминался и ответ Ермолова царю Николаю, когда тот, отозвав его с Кавказа, предложил ему пост председателя генерал-аудиториата высшего военно-судебного учреждения: «Я считал и считаю высшим утешением привязанность к себе войск, но наказателем быть не способен». Также отказался он и участвовать в заседаниях Государственного совета, потому что видел всю никчемность этих заседаний при самовластии царя.
Вспоминались москвичам и петербуржцам бесчисленные остроты Ермолова, имевшие политический характер, вспоминалось и то главным образом, что Николай обвинял Ермолова в «либерализме», благодаря которому он «заразил всю Кавказскую армию духом вольномыслия». Никто даже не хотел и проверять, так ли было на самом деле: это нравилось, это ставили Ермолову в заслугу, таково было требование момента.
Если все военное могущество николаевской эпохи покоилось на трех китах: Паскевиче, Меншикове и Горчакове, то Ермолов был четвертый, совершенно незаконный, неофициальный кит и именно потому-то казавшийся наиболее надежным в глазах дворянства. Забывали только о том, что восьмидесятилетний старец, давно проживающий в московском особняке на покое, едва ли уже был в состоянии теперь испугать своим видом даже и нервную слабую женщину — императрицу.
В черном нанковом широчайшем сюртуке, на который был нацеплен георгиевский крест — первый, суворовский, а другой, большой, белел на шее, в таких же нанковых и широчайших брюках без подтяжек, с кучей все еще густых белых волос на огромной голове, с морщинистым лбом и широким носом, похожий еще, правда, на льва, но уже на льва, дожившего до предельного возраста, Ермолов, вооружась очками, читал адресованное ему московским дворянским собранием письмо, писанное Погодиным: