23 января 1868 года Валуев получил рескрипт императора и императрицы по созданию временной комиссии по борьбе с голодом, адресованный цесаревичу: «Поручая Вашему Императорскому Высочеству почетное председательство в оной, нам отрадно видеть в искренности и теплоте принимаемого вами сердечного в этом деле участия залог успешного достижения предполагаемой благотворительной цели».
В Аничковом дворце, где господствовал цесаревич, начал свою работу благотворительный фонд. Князь Мещерский в «Русском инвалиде» написал воззвание к русскому населению оказывать помощь голодающим. Цесаревич пригласил председателя губернской земской управы Качалова стать его помощником по устройству всех этих хозяйственных дел. К временной комиссии был назначен и генерал-адъютант Зиновьев, а главное – череповецкий купец Милютин, хорошо знакомый с хлебной торговлей.
Вскоре был выработан план закупок хлеба – дарового хлеба не бывает, так надо и крестьянам объяснить, мы закупаем хлеб, временно помогаем вам хлебом, а вы в дальнейшем своей работой оплачиваете этот хлеб, а продаем мы этот хлеб по обычной торговой цене. Но как это сделать, чтобы не взвинтить цены на хлеб, вновь не попасть в руки спекулянтов? В строжайшей тайне Качалов и Милютин скупали хлеб в огромных количествах, получив от государства миллион рублей (цесаревич сам поехал к императору и выпросил этот миллион с тем, чтобы осенью этот миллион отдать в казну). Череповецкий купец Милютин и совершил все эти покупки, и только спустя какое-то время богатые хлеботорговцы поняли суть дела.
Валуев сразу подумал, что этот рескрипт императора о назначении наследника председателем временной комиссии в помощь голодающим повлечет за собой его отставку, с цесаревичем отношения у него не складывались – уж очень разные характеры и натуры, а тут одно дело… Сколько раз он обращался к императору, а он все время уговаривал его остаться, а тут произошли совсем другие обстоятельства. Тут простое свидетельство о том, что Валуев не справился со своей работой, все как бы происходило помимо него, помимо его воли… Князь Долгоруков ушел в отставку, на его место пришел граф Шувалов. И ничего не изменилось. Ведь вместо князя Долгорукова Валуев быстро сошелся с графом Петром Андреевичем Шуваловым, чаще всего с ним советовался по придворным делам, в которых Петр Андреевич лучше всего разбирался. Красивый внешне, с гордо поднятой головой, умный и тактичный, он чаще слушал, чем задавал вопросы, твердый в своих решениях, а твердость его всегда отличалась хитрецой, прямотой и открытостью. Это был блестящий государственный человек, немало лет проработавший обер-полицейским Петербурга. И вот судьба вознесла его на такую вершину, он стал ближайшим сотрудником императора, ни в чем ему не перечил, не вникал в придворные интриги, во всем угождал подозрительному и недоверчивому по своему характеру императору. Валуев не раз в этом убеждался. Шувалов предложил на место Валуева назначить генерал-адъютанта Тимашева, недавнего начальника штаба шефа жандармов князя Долгорукова, нынешнего министра почт и телеграфа. А чем он лучше Валуева? Только на три года моложе его? А путь все тот же самый… Шувалов, Валуев, Тимашев – разница лишь внешняя… Ничье мнение не имеет веса перед императором. Совет министров решительно потерял всякое значение. Как-то обсуждали вопрос о новых предложениях Офенгейма относительно южной дороги до Чернович. Следовало бы промолчать, а не возражать, мнение большинства было на стороне Валуева, а император весьма жестко решил поступить напротив мнению большинства, даже великий князь Михаил Николаевич, наместник кавказский, высказался в пользу взгляда князя Горчакова, генерала Коцебу, в пользу большинства, а император его перебил и сказал:
– А я решительно другого мнения, – и закрыл заседание, поддержав таким образом Рейтерна, Мельникова и Безака. Министр финансов Рейтерн чем-то угодил императору, а его победы – пирровы победы…
Валуев часто думал о своих конституционных предложениях, сначала активно, потом все слабее и слабее, но эти же предложения стали доноситься все чаще и чаще от выступающих на различных собраниях, то земства, то дворянства, принимались резолюции, принимались различные обращения в адрес императора. Что-то в обществе происходило такое, что император никак не мог понять в ореоле своего реформаторства, многие требовали конституционных правил, как в Англии, во Франции, в Австрии, в Берлине… А выстрел поляка Березовского в карету, в которой находились два императора – французский и русский в Париже… Александр Второй долго думал над этим выстрелом Березовского, а потом как-то, вернувшись в Россию, меланхолически заявил со слезами на глазах: «Я не знаю, что со мною, но таким, как теперь, я не был никогда и чувствую, что изменился. Ничто меня не радует. Раньше лагерь, олени доставляли мне удовольствие. Я еще бываю там, но ничто на меня не производит впечатления».