Симпатиями Валуев в конце своего управления ни с чьей стороны не пользовался. Одни называли его космополитом, желавшим более всего пользоваться европейской похвалой и известностью; другие — остзейским феодалом, бароном или маркизом в России; третьи — представителем реакции в бархатных перчатках, беспринципным бюрократом. Увольнение его от управления министерством 9 марта 1868 года, мотивированное болезнью, но в самом деле вызванное неприятием надлежащих мер по предотвращению бедствий голода, ни в ком не возбудило сожалений. История не забудет, однако, что во время управления Валуева состоялась земская реформа (1 января 1864 г.) и в первый раз появилась в России бесцензурная печать (закон 6 апр. 1865 г.). Правда, и в той, и другой области началась при Валуеве эпоха стеснений и ограничений, но это только уменьшает, а не уничтожает значения преобразований, связанных с его именем. Самой слабой стороной деятельности Валуева следует признать отношения его к крестьянскому делу, во многом изменившее к худшему то направление, которое было ему дано мировыми посредниками первого призыва.
Покинув министерский пост и оставаясь статс-секретарем и членом Государственного Совета, Валуев занял место председателя правления Учетно-ссудного банка и Общества взаимного поземельного кредита. Уменье авторитетно говорить и держать себя в заседаниях Государственного Совета и разных высших комиссий, скоро опять выдвинуло его в правительственных сферах, где его опытность давала ему возможность иметь вес и значение. 17 февраля 1872 г. Валуев был назначен министром государственных имуществ.
В 1877 г. Валуев был назначен Председателем Комитета министров и вслед за тем Комиссии прошений, причем преемником его по Министерству государственных имуществ был сделан, по его же указанию, его товарищ, князь Ливен, во время управления которого расхищение казенных земель еще более усилилось и было наконец обнаружено. 19 февраля 1880 года Валуев был пожалован графским достоинством с нисходящим потомством. В качестве Председателя Комитета министров Валуев пользовался значительным влиянием и сохранял его до возвышения гр. Лорис-Меликова, с которым Валуев находился в открытом антагонизме.
Оставшись не у дел, Валуев отказался от света и занялся литературной деятельностью, которой не был чужд и раньше, поместивши в 1856 году в журнале «Отечественные Записки» (за июль месяц) перевод статьи Эжена Форкада «О французском национальном банке». Вслед за тем появились его статьи, за подписью Aliquis на французском языке, о положении крестьян в прибалтийских губерниях в газете Nord (1858). Эти письма переведены были в «Русском Вестнике» за этот же год (№ 1 и 2).
В 1876 г. (в бытность министром государственных имуществ) Валуев издал за границей, в Берлине, брошюру «Русские заграничные публицисты». Эта брошюра посвящена полемике с Самариным, Дмитриевым, князем Васильчиковым и Кошелевым, издавшими около этого времени свои публицистические произведения за границей. Брошюра подписана автором, назвавшимся «Русским». Она составлена, как это видно из пометки на ней, в Висбадене в октябре 1875 г. В заключение ее Валуев говорит: «Конечно, не все у нас ладно, — но где же все ладно». Притом, чем больше у нас недостатков, тем более желательно, чтобы их устранение не затруднялось, кроме других неизбежных затруднений, раздражительной агитацией, направленной к недостижимым «целям». Полемизируя с Самариным, Валуев признает его замечательный литературный талант, признает его магистральную силу и компетентность в вопросах богословия и философии, но сильно порицает его приемы и сарказмы в полемике по общественным вопросам.
Первый роман Валуева «Лорин», в двух частях, появился в 1882 году (перв. на нем. языке), второй, «Черный Бор», напечатан в «Вестнике Европы» за 1887 г. (книжки 7 и 8), третий, «Княгиня Татьяна» — в Русском Вестнике за 1891 г. (№ 4–10)[100]
. Романы имеют значение преимущественно как материал для оценки общественных и политических воззрений автора.Валуев скончался в Петербурге 27 января 1890 года, проявив в последние годы своей жизни недюжинные качества самообладания и философской покорности судьбе. Начиная с 1847 г., с небольшими промежутками, Валуев вел постоянно, до предсмертной болезни своей, «Дневник». Начало этого «Дневника» — период с 1847 по 1850 г. — напечатано в «Русской Старине» (1891 г., книжки 4–11). За 1880 г. «Дневник» напечатан в «Вестнике Европы» (1907 г., янв., февр. и март). Кроме того, находятся выдержки из того же «Дневника» за 1879, 1880 и 1881 гг. в статьях г. П. Щеголева «Из истории конституционных веяний за 1879–1888 гг.» и «После 1 марта 1881 г.» (в жур. «Былое», 1906, № 12 и 1907, № 3)[101]
Валуев оставил после себя еще несколько рукописных трудов, до сего времени не напечатанных, и между прочим «Ряд мыслей по поводу крестьянского вопроса»[102].