Немудрено, что государь, который близко видел его работу, который знал его высокое бескорыстие и его преданность отечеству, постоянно его поддерживал, несмотря на ожесточенные нападки и интриги многочисленных врагов, которые не могли простить ему его способностей и его независимости. И среди всех этих павших на него почестей он остался тем же тихим, скромным и обходительным Дмитрием Алексеевичем, каким я знал его в молодости. Почестями он всегда пренебрегал, даже когда они ему были нужны для карьеры, доставлявшей ему средства к жизни. Мне памятно, как в 1855 году, во время моего пребывания в Петербурге, в самый день Пасхи ко мне зашел Кавелин и выразил свою радость по поводу того, что Дмитрия Алексеевича взяли в свиту. Несколько часов спустя я зашел к Николаю Алексеевичу и в разговоре упомянул об этом обстоятельстве. "Не может быть,-- отвечал он,-- я только что получил записку от брата, и он ничего об этом не говорит. Впрочем, от него это станется". Оказалось, что известие было совершенно верно. Много лет спустя Милютина сделали графом. Он возвращался с государем из Крыма через Москву. Я встретил его на вечере у генерал-губернатора. "Что же, поздравить вас?" -- спросил я. "Как вам не стыдно! -- отвечал он.-- Пускай другие поздравляют, а вы, старый приятель, знаете меня столько лет и считаете нужным поздравлять".
Таким же, как прежде, он остался и в своей частной жизни. Когда я бывал в Петербурге, я обыкновенно ходил к нему обедать по воскресеньям. В этот день он отдыхал от трудов и любил за обедом собирать немногочисленный круг друзей. Стол был всегда самый простой, вина кавказские. После обеда Дмитрий Алексеевич раскалывал сахар на мелкие кусочки, и вся его многочисленная семья, начиная с взрослой уже старшей дочери, подходила к нему по очереди, и каждому он клал в рот обмоченный в кофе "канарчик". Это был патриархальный обычай, установившийся с младенческого возраста детей и свято сохранявшийся в течение многих лет.
С новым царствованием кончилось его государственное поприще. Он понял, что время его прошло, и просил увольнения. Однако даже и при новых порядках он мог бы играть видную роль. Знающие люди утверждали, что его наверное сделали бы председателем Комитета министров. Но он предпочел удалиться совершенно. Петербург со всеми перекрещивающимися в нем интересами, всею низостью, завистью и злобою, которые господствуют в высших сферах, особенно же при совершенно несочувственном ему направлении, был ему противен. Он уехал в Крым и там поселился на собственной даче в Симеизе. Там он и живет вдали от всяких дрязг, ни одной минуты не жалея о прежней деятельности или почестях, наслаждаясь свободой, делая съемки, как в молодости бодрый и спокойный, как мудрец, постигший всю жизненную суету и находящий высшую прелесть в том, чтобы жить от нее в отдалении. Когда же ему случается по делам приехать в Петербург, он бежит оттуда как можно скорее, не желая оставаться даже лишнего дня в этом средоточии всего, что волнует и возмущает душу истинного патриота. Живя в Крыму, я по-прежнему видаюсь с ним, как старый приятель. Иногда мы вместе совершаем прогулки по крымским горам и долинам, любуясь морем, скалами, великолепными видами. Он водит меня по своему небольшому поместью, где жена его с успехом занимается виноделием. Однажды, когда после прогулки в очаровательный майский вечер мы сидели вдвоем на скамейке и глядели на прелестную, расстилающуюся у наших ног долину Лимены, он воскликнул: "И подумать, что есть люди, которые всему этому предпочитают Петербург!" Закат достойной жизни, всецело посвященной исполнению обязанностей и пользе отечества! Россия этого имени не забудет.