Всю дорогу от Севастополя до Петербурга Дмитрий Алексеевич читал деловые бумаги, особого внимания удостоился журнал Особого присутствия Государственного совета по делу о воинской повинности. Сколько неожиданных споров, острых, капризных, скандальных, произошло на этих заседаниях, он представлял себе, как вновь граф Дмитрий Андреевич Толстой, обер-прокурор Святейшего синода и министр народного просвещения, с прежней желчью и упрямством будет отстаивать свои навязчивые идеи, путано, зло, прискорбно. Сколько раз Дмитрий Алексеевич выступал на совещаниях и упрекал графа Толстого, который с обычным упорством настаивал на своих своеобразных и странных идеях относительно распределения учебных заведений в отношении льгот по воинской повинности. Принц Петр Ольденбургский не раз говорил о сохранении дворянских родов, требуя внести статью для единственных сыновей в семье, освобождающих их от воинской службы. Проходило много статей при общем голосовании, хотя и были горячие споры. Большие споры разгорелись о евреях, в проекте Комиссии для них предполагались особые, исключительные правила. Зачем евреев так отделять от основной массы военнообязанных? Дмитрий Алексеевич предложил вообще исключить эти особые правила, упомянуть о них лишь в журнале присутствия.
Но главная беда исходила от Комиссии князя Барятинского, который опять испытывал серьезные приступы подагры, но не потерял еще гнева против военных реформ и готовил некий документ против Военного министерства. Наконец до Милютина дошли слухи, что комиссия собиралась в Царском Селе у князя Барятинского в составе Константина Чевкина, председателя Комитета министров Павла Игнатьева и графа Эдуарда Баранова, еще не уехавших из Петербурга, обсуждали проекты письма императору. Комиссия потребовала от военного министерства огромное число документов, генералы всех направлений в министерстве писали отчеты о делах и сметах и направляли в комиссию, но опять же по слухам Милютин знал, что в письме императору указывались опять же мелкие недостатки в деятельности Военного министерства, упоминались плохо сшитые сапоги, мало изготовили малокалиберных ружей, но беда не в этом, а в том, какую резолюцию наложит император на этом письме: или эта записка останется под сукном, или Милютин подаст прошение об отставке с поста военного министра, которую не дают ему возможности «выполнять с спокойным духом». Вскоре от Ивана Якобсона, действительного тайного советника и бывшего члена Военного совета, Милютин узнал, что ничего существенного нет в этой записке от Комиссии Барятинского… В дневнике Милютин записал: «На каких-нибудь семи листах писарского письма высказываются мнения о невыгодности некоторых распоряжений по Военному министерству, а более всего трактуется об увеличении переписки в военном ведомстве. Стало быть, это все прежняя пошлая дребедень. По всем вероятиям, я не ошибся, предсказав государю, что учреждаемая им Комиссия не приведет ни к какому другому результату, кроме сочинения еще одного памфлета на Военное министерство, и вызовет еще одну полемику».
Вскоре приехал император Александр Второй и на первом же докладе Милютина передал ему «пресловутую записку фельдм. кн. Барятинского», в которой упреки Военному министерству были «избиты до пошлости». Много раз Дмитрий Алексеевич говорил об этих упреках, доказывал императору их абсурдность и никчемность, но император, передавая записку, говорил, что в записке есть нечто новое, чем может воспользоваться министерство. «Сегодня займусь продолжением чтения записки и постараюсь не портить себе себе крови этим чтением, – писал в дневнике Д. Милютин 29 июля 1873 года. – Напротив того, я должен даже радоваться тому, что целый ареопаг, собранный под председательством лица, открыто заявившим себя моим противником, и заведомо с той целью, чтобы нанести удар моему 12-летнему управлению, не мог отыскать никаких других обвинений, кроме тех пустых укоров, которые приводятся в записке кн. Барятинского на основании извращенных фактов, недобросовестно подобранных цифр и каких-то измышлений бездарного ген. Яковлева».
Слава богу, все это благополучно миновало еще до отпуска, как и резко изменилось к нему отношение со стороны императора, наконец-то увидевшего, что и такая серьезная Комиссия князя Барятинского ничего предосудительного не нашла в Военном министерстве. Сразу изменил к военному министру свое отношение. Дмитрий Милютин и на этот раз ожидал, что император предложит ему сопровождать его в поездке в Крым, ведь военный министр должен присутствовать на смотре войск, который обычно государь проводит во время поездки в Крым. Но не дождался… Видимо, есть какие-то неведомые ему причины продолжающейся холодности императора. Еще в августе, перед отпуском императора и своего, сделав доклад и обсудив его, Александр Второй наконец спросил:
– Так мы скоро увидимся в Ливадии?
– Если получу на это приказание, – ответил Милютин.
– Стало быть, ты сам не желаешь этого?
– Нет, государь, но я не считаю себя вправе явиться без приказания.