Адреса вызвали сильное раздражение Александра II. Он называл их «ни с чем не сообразными и дерзкими до крайности». «Если эти господа, – заявил монарх, – думают своими попытками меня испугать, то они ошибаются, я слишком убежден в правоте возбужденного нами святого дела, чтобы кто-либо мог меня остановить в довершении оного. Но главный вопрос состоит в том, как его довершить». Видимо, вопрос состоял в том, «довершать» ли дело силами бюрократии или постепенно подключать к нему общество. Власти по-прежнему склонялись к первому варианту. «Не подлежит сомнению, – писал в 1859 году Ланской, – что некоторые действительно желают воспользоваться настоящим случаем, чтоб понемногу ввести представительное начало в решение дел государственных. Понятно, что руководители этого движения стараются прикрыть его разными законными причинами... Чтобы, оградить общественное спокойствие, необходимо устранить враждебные происки, не допуская разыгрываться партиям и смыкаться в политическую оппозицию».
Одними адресами противники реформы не ограничились, в ход пошли и прямые доносы, обвинявшие Ланского, Н. Милютина, великого князя Константина Николаевича в провоцировании распада страны и разжигании гражданской розни. Александр II наветам не поверил и испещрил эти доносы резкими замечаниями типа: «хорош софизм», «непомерная наглость», «вздор», «надобно начать с того, чтобы самого его обуздать». Однако он взял на заметку имена деятелей, вызвавших наибольшее недовольство поместного дворянства. Первым в ряду этих «крамольных» деятелей стоял Н. А. Милютин.
Николай Алексеевич Милютин и в личном, и в профессиональном отношениях был одновременно членом высшей бюрократии и представителем передовой интеллигенции, причем оказывался совершенно органичным и в той, и в другой ипостаси. Он обладал огромными знаниями, редкой трудоспособностью, не был новичком в бюрократических играх (в 1840-х годах, являясь чиновником Министерства внутренних дел, разрабатывал смелый для тех лет проект реорганизации органов городского самоуправления). Помимо этого Милютин отличался ораторским талантом, был хорошим организатором, человеком неуступчивым и настойчивым в достижении поставленных целей. Цели же эти являлись достаточно высокими, хотя и не бесспорными. В основе позиции Николая Алексеевича лежало убеждение, что в данный исторический момент только правительство может убедительно сыграть роль двигателя реформ. Он и служил-то так истово потому, что правительственная программа оказалась близка его собственным взглядам.
Милютин не доверял общественно-политическим устремлениям дворянства, не признавая за ним никаких особых прав на исполнение первой скрипки в жизни страны. Он предпочитал руководствоваться в своей деятельности подлинно общественными интересами и нуждами, а не сословными амбициями. Надо отдавать себе отчет в том, что он выступал не против самодеятельности общества, а против непомерных притязаний дворянства на роль лидера общества. Милютин боролся против подобных притязаний, поскольку считал, что в основе преобразований должны лежать чисто социальные проблемы, а политические изменения являются только следствием уравнивания сословий в глазах закона. Излюбленный девиз Николая Алексеевича: «ни деспотизма, ни конституции» – оказался достаточно шаткой платформой для серьезной практической деятельности. Милютин и сам это прекрасно понимал. Уже после своей отставки он горько шутил: «Еще хорошо, что удалили меня с почетом и выпроводили за границу; все-таки прогресс; при Анне Иоанновне вырезали бы мне язык и сослали в Сибирь».
Язык, надо думать, действительно вырезали бы, да и было за что. Обращаясь к депутатам губернских комитетов, Милютин говаривал: «Вас, дворян, нельзя расшевелить мелочами. Вы почешетесь, перевернетесь, да и опять заснете. Вас надобно так кольнуть, чтобы вы подпрыгнули вверх». И надо отдать ему должное – «подкалывал» он дворян постоянно. Работать с ним было вообще далеко не просто. Весь – огонь, страсть, Милютин любил до крика схлестнуться с оппонентом и дожимать его, пока тот не признает своего поражения. Правда, это касалось только работы или узкого круга друзей; в обществе же Николай Алексеевич старался никогда не проронить лишнего слова, так как прекрасно понимал, что за ним следят десятки недружелюбных глаз. Для многих его блестящие способности действительно были поводом для расстройства; бескорыстие, независимость, ум – вот что приводило врагов в бешенство, вот почему они его сравнивали с Робеспьером и считали достойным эшафота.