Широкая эрудиция и научный подход к разрешению военных проблем выдвинули Д. А. Милютина на должность директора Канцелярии военного министерства при военном министре В. А. Долгоруком. Сменивший его Н. О. Сухозанет, возможно, видел в Милютине соперника и не позволил ему активно включиться в работу военного министерства. И осенью 1856 г.
новый командующий Отдельным Кавказским корпусом князь А. И. Барятинский предложил Д. А. Милютину пост начальника Главного штаба Отдельного Кавказского корпуса (в дальнейшем — Кавказской армии). Реорганизация управления войсками и военными учреждениями края, выполненные по предложениям Д. А. Милютина, сыграли положительную роль, а после пленения Шамиля в 1859 г. при штурме аула Гуниб, в котором принимал личное участие Д. А. Милютин, Кавказская война была закончена. В значительной мере именно Д. А. Милютину русская армия была обязана успешным завершением Кавказской войны. За боевые заслуги он был награжден орденами, произведен в генерал–лейтенанты и вскоре удостоен звания генерал–адъютанта.Служба на Кавказе позволила Д. А. Милютину проанализировать проблемы многолетней войны. Он пришел к выводу, что настоящая борьба на Кавказе и есть ни что иное, как продолжение борьбы христианства с исламизмом
, варварства с просвещением и то, чтоПо предложению А. И. Барятинского Д. А. Милютин в 1860 г. был назначен товарищем военного министра, а после назначения Н. О. Сухозанета наместником в Царство Польское, он был утвержден военным министром. Двадцатилетняя его служба на этом посту была тесно связана с проведением глубокой военной реформы. Необходимость ее была обусловлена поражением русских в Крымской войне и реформированием армий Западной Европы.
Реформы российской армии начались с сокращения срока военной службы
в строю с 25 до 15 лет (из них шесть — на действительной и девять лет в запасе), отменой телесных наказаний в армии, улучшением быта солдат и обучением их грамоте. Для тех, кто имел образование, продолжительность службы сокращалась: для окончивших высшие учебные заведения — до шести месяцев, гимназию — до полутора лет, городское училище — до трех лет и начальную школу — до четырех лет. Замена рекрутского набора всесословной воинской повинностью стала стержнем этого раздела военной реформы. В запас стали уходить молодые и обученные люди, что привело к сокращению кадров, стоящих «под ружьем» в мирное время при наличии достаточно обученного резерва.Введение в 1864 г. военно–окружной системы
положило начало реорганизации системы центрального военного управления с распространением его прямого влияния на войска, дислоцированные на территории обширной империи. При этом было обеспечено оперативное руководство войсками из центра, их самостоятельность на местах и быстрое развертывание армии в случае войны.Наряду с организационными вопросами реформирования армии Д. А. Милютин занимался и вопросами ее технического перевооружения
. Армия переходила от гладкоствольного к нарезному стрелковому оружию. В 1868 г. на вооружение пехоты, кавалерии и казачьих войск стала поступать винтовка системы Бердана, а затем — системы Крнка и Карле. В 1867 г. в артиллерии появились первые нарезные орудия, заряжаемые с казны. Чугунные и бронзовые орудия заменялись на стальные. Д. А. Милютин неоднократно посещал заводы, выпускающие предметы вооружения и был твердым сторонником развития отечественной военной промышленности вместо закупок за рубежом. Однако, несмотря на все его усилия, значительных изменений в обеспечении армии артиллерийскими системами не произошло, и к началу войны 1877–1878 г. русская полевая артиллерия еще значительно отставала от зарубежной.