В 1885 году он был произведен в генерал-майоры, а став в 1890 году генерал-лейтенантом, великий князь получил в командование гвардейскую кавалерийскую дивизию. Начиная с 1895 и до 1905 года он служил генерал-инспектором кавалерии, одного из самых многочисленных и почитаемых родов войск в русской армии. Под его руководством в кавалерийских войсках произошли значительные изменения. Великий князь выступил инициатором и разработчиком нового кавалерийского устава, в котором был обобщен опыт применения кавалерии во второй половине XIX века. Благодаря его трудам кавалерийские войска стали подвижными, маневренными и выносливыми. За службу он был награжден орденом Св. Владимира 1-й степени, а в 1901 году получил чин генерала от кавалерии.
В начале русско-японской войны 1904—1905 годов он отказался принять в ней участие, так как не ладил с наместником России на Дальнем Востоке адмиралом Е.И. Алексеевым, а в год окончания войны князь возглавил Совет государственной обороны и оставался на этом посту до 1908 года, став затем командующим Петербургским военным округом и начальником войск гвардии.
К началу Первой мировой войны Николаю Николаевичу исполнилось 58 лет. Война, к которой Россия была не готова, поставила перед страной множество проблем, требующих быстрого разрешения. Одной из них стало создание высшего органа управления действующей армией и флотом – Ставки – во главе с верховным главнокомандующим. На этот высокий и ответственный пост было выдвинуто несколько кандидатур, и среди них царь Николай II, пожелавший лично возглавить войска. Против этого высказались все министры, и 20 июля вышел высочайший указ, гласивший следующее: «Не признавая возможным, по причинам общегосударственного характера, стать теперь же во главе наших сухопутных и морских сил, предназначенных для военных действий, признали мы за благо всемилостивейше повелевать нашему генерал-адъютанту, командующему войсками гвардии и Петербургского военного округа, генералу от кавалерии его императорскому высочеству великому князю Николаю Николаевичу быть верховным главнокомандующим. Николай».
Ставка развернулась в Барановичах. При верховном главнокомандующем состоял штаб, который включал ряд управлений. В них летом 1914 года насчитывалось 9 генералов, 36 офицеров, 12 чиновников, около 150 солдат. В последующие годы состав Ставки возрос до 2 тысяч человек.
По мнению современников, новый главнокомандующий был вполне подготовленным крупным военачальником, истинно военным человеком, имевшим большой авторитет среди офицерства и войск армии, но легко поддавался влиянию близких к нему лиц. Верховный главнокомандующий был наделен неограниченными полномочиями и подчинялся непосредственно только императору. Никто более не имел права давать ему какие-либо указания. Но и Николай Николаевич не мог, в свою очередь, влиять на военного министра, которому подчинялись войска, находящиеся в тылу, и все боевое снабжение и интендантское обеспечение также было в не компетенции главнокомандующего.
Для ведения войны на сухопутном театре военных действий были созданы Северо-Западный, Юго-Западный, а несколько позже Кавказский фронты. Все командующие фронтами были военачальниками с большим стажем, однако не имели опыта управления крупными соединениями во время войны. Они и составляли высшее командование вооруженными силами, во главе которых Николаю Николаевичу предстояло решать сложные вопросы военного времени.
Первым опытом великого князя на высоком командном посту стала операция в Восточной Пруссии. По замыслу русского командования германские войска в ходе операции должны были попасть под двойной удар: 1-я русская армия (командующий П.К. Ренненкампф) обходила немцев с севера в обход Мазурских озер и отрезала неприятеля от Кенигсберга, а 2-я армия (командующий А.В. Самсонов) вела наступление с юго-запада, не давая противнику отвести войска за Вислу.
Наступление началось в августе 1914 года. Несмотря на то что русские войска обладали некоторым превосходством над противником, к началу сентября Восточно-Прусская операция завершилась полным поражением армий Северо-Западного фронта. Русские войска понесли огромные потери – было убито и взято в плен до 250 тысяч человек.
Восточно-Прусская операция ярко выявила неподготовленность верховного главнокомандующего и его штаба к управлению войсками и решению стратегических задач. После поражения Николай Николаевич посылает императору следующую телеграмму: «Я совершенно сознаю, что не сумел настоять на исполнении моих требований, посему слагаю перед Вашим Величеством мою повинную голову». Император не стал привлекать к ответу виновников гибели и пленения четверти миллиона русских солдат в Восточной Пруссии, а чтобы поддержать главнокомандующего, он награждает его орденом Св. Георгия 3-й степени.