«Заседание Государственного совета было весьма оживленное и продолжительное, – писал Милютин в своем дневнике 3 декабря 1873 года. – Это был только приступ к прениям о воинской повинности. Как надобно было ожидать, главным оппонентом явился опять гр. Толстой. За несколько дней до заседания он разослал членам Государственного совета длиннейшую записку, в которой развивает новые свои затеи по вопросу о льготах по образованию. Записка эта переполнена самыми натянутыми справками, извращенными цитатами, подтасованными цифрами и невозможными предположениями. Говорят, что она составлена и привезена из Москвы Катковым. В заседании сегодня гр. Толстой оказался крайне слабым; как будто с самого начала он чувствовал нетвердую под собою почву. Поддерживали его немногие, и, к удивлению, он заметно искал благовидного пути к отступлению. Вел. кн. Константин Николаевич хорошо повел дело; он разделил спорные вопросы так, что одна половина их (именно о льготах для поступающих по жребию) решилась без разногласия, и гр. Толстой уступил безусловно. Мы же сделали ему самые неважные уступки. Казалось, он сам был доволен, что высвободился из хаоса, в который затесался. Многие из членов громко подсмеивались над тем, что два министра обменялись ролями: министр народного просвещения как будто только и заботился о лучшем составе армии и в особенности корпуса офицеров, жертвуя с самоотвержением всеми выгодами просвещения и другими интересами государственными; военный же министр защищал народное просвещение и высшее образование. Мало того: шеф жандармов, стоящий во главе аристократической партии, клонил к тому, чтобы вся высшая и образованная молодежь поголовно была привлечена к военной службе и чтобы в случае войны легла целиком на поле битвы; представитель же военного ведомства защищал эту бедную молодежь и желал сохранить ее для разных поприщ гражданской деятельности. Такая перестановка ролей могла бы показаться непостижимой загадкой для всякого, не посвященного в закулисную игру и замаскированные замыслы наших ториев».
Год завершался, план утвердить Постановление о воинской повинности срывался, а буря прений все еще продолжалась. Особые прения развернулись вокруг вопроса о вольноопределяющихся. Аристократическая партия собралась у графа Шувалова в составе графа Палена, Валуева, Тимашева, графа Толстого, приглашены на совещание были Катков и Победоносцев. Милютин давно обратил внимание, что цесаревич холодно относится к нему и его военным реформам, а потому пришел и Победоносцев, бывший его наставник и учитель. И вот на очередном совещании Государственного совета опять начались прения. Выступают граф Толстой, граф Строганов, к удивлению Милютина в полемику вступает Победоносцев и произносит длиннейшую речь о сословных правах, поднимает знамя дворянских привилегий, офицерами могут быть только дворяне, вопрос решает уже не уровень образования, а дворянская порода… Милютин был поражен этой щекотливой позицией, которая возникла очень давно и была также давно отвергнута. Великий князь Константин Николаевич умело вел заседание, по ходу заседания отверг страстную защиту дворянских привилегий, о дворянах здесь много говорилось, дворяне получили массу особых отличий, о них никто не забыл… В итоге общее голосование отвергло вопрос о сословных правах, в том числе и Победоносцев согласился с общим мнением.
Наконец проект закона о воинской повинности согласован по всем статьям и во всех подробностях и представлен императору.
Крайне удивился Дмитрий Алексеевич рескрипту императора Александра Второго министру народного просвещения графу Толстому как руководителю русского дворянства, возглавившего «ближайшее наблюдение за народным образованием», самые высокие сказаны слова о графе Толстом. Видимо, граф Толстой хорошо знал мнение императора о своей работе, а потому и был так упорен в своих нападках на военного министра.