В 1856 г. Милютин по собственному желанию ушел из Николаевской академии Генерального штаба и получил должность начальника Главного штаба войск на Кавказе; следовательно, от кабинетных трудов он снова обратился к боевой деятельности. За время пребывания на Кавказе Милютин был произведен в генерал-лейтенанты, назначен генерал-адъютантом и награжден за боевые заслуги орденом св. Владимира 2-й степени с мечами.
Необходимость серьезных преобразований нашей армии и ее управления побудили императора в 1860 г. призвать Милютина в Петербург на пост товарища военного министра, а 9 ноября следующего года назначить его военным министром.
15 января 1862 г. Милютин представил государю свой знаменитый доклад, заключавший основные идеи и программу всех будущих преобразований. Останавливаясь прежде всего на трудности задачи военного министерства, состоявшей в том, что нужно стремиться к облегчению бремени государства по военным расходам, военный министр все-таки не допускал и мысли, чтобы Россия могла отказаться от своего первостепенного политического значения, приобретенного ею тысячелетним существованием, и поэтому ставил первостепенным условием, чтобы сокращение военной сметы не могло нанести ущерба благосостоянию и благоустройству армии, тем более что, по его мнению (бесспорно справедливому и верному), Россия не имела еще вооруженных сил, соответствующих размерам ее территории и количеству населения.
По расчету Милютина, численность армий Франции, Австрии и Пруссии достигла в мирное время соответственно 400, 280 и 200 тысяч, а в военное — 800, 625 и 695 тысяч, т. е. отношение численности в мирное и военное время составило 1:2, 1:2,2 и 1:3,4. Между тем русская армия хотя и насчитывала в мирное время 765 530 человек, а в военное, увеличиваясь почти вдвое, достигала 1 377 365, но эта грозная цифра была мнимой, существующей лишь на бумаге. Действительно, для пополнения разности в численности армии по штатам мирного и военного времени, простиравшейся до 611 тысяч, мы имели наготове только 242 тысяч отпускных служилых чинов, а остальные 369 тысячи должны быть взяты из населения неготовыми рекрутами.
Содержа в мирное время более войск, нежели какая-либо из других первоклассных держав (765 тысяч), и рассчитывая в случае войны иметь под знаменами до 1377 тысяч, мы в действительности могли выставить во всей Европейской России (за исключением войск Кавказских, Оренбургских и Сибирских — 228 тысяч) не более 769 тысяч (537 тысяч по штатам мирного времени, усиленных полным числом следуемых в войска Европейской России отпускных, т. е. 232 тысячи). Таким образом, для обеспечения внешней и внутренней безопасности государства, превосходящего пространством почти в 10 раз Францию и Австрию и в 18 раз Пруссию, мы имели армию лишь несколькими тысячами больше армий каждой из сих держав. Если же из состава наших армий вычесть местные войска (168 тысяч), то боевая сила сокращалась до 638 тысяч, что уже было менее боевых сил Франции (699 тысяч), Пруссии (682 тысячи) и только на 39 тысяч больше Австрии (599 тысяч). Такой неудовлетворительностью системы и объясняется тот страшный недостаток в войсках, который мы испытывали с открытием войны 1853–1855 гг., когда приходилось торопливо формировать новые части из спешно призываемых рекрутов и даже ополчений.
На основании этих ярких данных Милютин доказывал, что даже и увеличивая численность наших вооруженных сил, но сохраняя прежнюю организацию резервных и запасных войск, мы все-таки не в состоянии без колоссальных постоянных расходов содержать достаточно сильную армию. А поэтому нужны коренные преобразования в организации резервных войск; надо создать новые кадры запасных войск и обеспечить пополнеие тех и других при мобилизации. Для сокращения небоевого элемента армии следовало прежде всего упразднить корпус внутренней стражи, возложив его обязанности по караульной службе на резервные войска в мирное время и на запасные в военное. Для пополнения числа лиц, прошедших подготовку в армии, Милютин предлагал сократить срок службы в постоянных войсках и указывал на необходимость безотлагательного пересмотра рекрутского устава, что являлось подготовкой к введению всеобщей воинской повинности.
В основу всех реформ по военному ведомству легла та же мысль, которую высказал и генерал-адъютант Ридигер, т. е. ослабление централизации управления на основе следующих общих принципов:
1) установление единства военного управления путем включения в состав министерства тех учреждений, которые ранее находились только в связи с ним;
2) сосредоточение в Военном министерстве функций координации и контроля деятельности всех административных органов;
3) возложение всей распорядительной части на местные органы;
4) пробуждение самодеятельности в низших инстанциях.