Понять замысел императора было несложно. По свидетельству Давыдова, Ермолов ответил: «Единственным для меня утешением была привязанность войска; я не приму этой должности, которая возлагала бы на меня обязанность наказывать».
«Ермолов не так это понимает!» — сказал раздраженный Николай.
Ермолов все понял правильно. Прозябание в Государственном совете продолжалось до 1839 года…
В 1834 году Алексея Петровича посетил его любимый адъютант Павел Христофорович Граббе, уже генерал-майор, начальник драгунской дивизии, герой Русско-турецкой и Польской войн.
«На возвратном пути из Москвы заехал я и к Алексею Петровичу Ермолову в деревню. В молодости моей я был первым его адъютантом, и совершенно отеческое его обращение со мною оставило во мне сыновнюю к нему привязанность. Я не видал его девятнадцать лет. Мы расстались в 1815 году, когда я получил конноартиллерийскую роту. Он отправился тогда главнокомандующим на Кавказ и послом в Персию. Взоры целой России обратились туда. Все, что излетало из уст его, стекало с быстрого и резкого пера его, повторялось и списывалось во всех концах России. Никто в России в то время не обращал на себя такого общего и сильного внимания. Редкому из людей достался от неба в удел такой дар поражать, как массы, так и отдельно всякого наружным видом и силою слова. Преданность, которую он внушал, была беспредельна. Теперь я нашел старика, белого как лунь (Ермолову было 57 лет. —
При этой встрече и возник уже известный нам разговор о возможном возвращении Ермолова на строевую службу — в качестве главнокомандующего одной из армий.
Он как-то очень быстро старел. Отсутствие привычной деятельности тому явно способствовало.
Он еще на что-то надеялся. Тем более что Николай вел с ним коварную игру. Так, он однажды сказал Ермолову, что в случае войны он его обязательно «употребит». Разумеется, он не собирался этого делать.
Когда в 1830 году произошло восстание в Польше и польская армия, выпестованная Константином, вела в первые месяцы 1831 года успешные операции, общественное мнение обратилось к легендарной фигуре Ермолова. Но воевали в Польше сперва граф Дибич-Забалканский, затем — граф Паскевич-Эриванский, ставший князем Варшавским.
К концу 1830-х годов терпение Ермолова истощилось. Он просил Бенкендорфа, обращение к которому отнюдь не доставляло ему удовольствия, передать императору его просьбу об отставке.
Бенкендорф пригрозил ему неудовольствием императора. Ермолов настаивал. В конце концов Николай через того же Бенкендорфа потребовал от Ермолова письменного объяснения. Что и было немедленно исполнено.
Алексей Петрович мотивировал свою просьбу неопытностью в административных делах, на что Николай резонно напомнил ему о его проконсульстве на обширнейшей территории, должности, включающей и сугубо административные обязанности.
В результате Ермолов был отпущен в бессрочный отпуск с издевательской формулировкой «до излечения болезни». Притом что ни о какой болезни Алексей Петрович и не упоминал.
Снова началась частная жизнь между Москвой и Осоргином. Заботы о будущности сыновей, трое старших из которых учились в Михайловском артиллерийском училище и пользовались особым покровительством великого князя Михаила Павловича, командующего всей артиллерией, а младший безуспешно пытался осваивать науки в Лазаревском институте восточных языков.
Старшие — Виктор, Север и Клавдий — успешно окончили училище, получили офицерские чины и отправились служить на Кавказ. Служили усердно, выслужили по ордену Святого Владимира, давшему им потомственное дворянство. Фамилию Ермоловых им своей властью присвоил великий князь. До этого они звались Горскими.
Судьба младшего, Петра, была трагична. Очевидно, ему совершенно неинтересно было в Лазаревском институте, учился он плохо и разгневанный Алексей Петрович отправил его унтер-офицером на Кавказ, где он и погиб в бою с горцами.