Участник русско-турецкой войны 1877–1878 годов. Первоначально занимался организацией гражданского управления в Тырново. С 15 сентября 1877 года состоял в распоряжении главнокомандующего действующей армией в. к. Николая Николаевича (Старшего). Сделал ряд рекогносцировок турецких укреплений под Плевной. За боевые отличия в войне награжден в 1878-м орденом Святого Георгия 4-й степени и золотым оружием. После заключения перемирия посетил Константинополь, где заразился черной оспой и 15 апреля 1878 года на санитарном пароходе «Буг» был эвакуирован в Россию, где по выздоровлении 6 мая 1878 года назначен правителем дел Николаевской академии Генерального штаба. В этой должности он являлся ближайшим сотрудником начальника академии генерала М. И. Драгомирова. Руководил практическими занятиями по тактике, читал лекции в Николаевском кавалерийском училище и Пажеском корпусе. Также ему было поручено преподавание тактики и военной истории в. к. Петру Николаевичу и Сергею Михайловичу. Сухомлиновым был составлен ряд учебных пособий по тактике. Потом два года – командир полка.
С 10 января 1886 года – начальник офицерской кавалерийской школы. Находясь в течение почти 12 лет во главе школы, Сухомлинов положительно повлиял на развитие и усовершенствование техники армейского кавалерийского дела. За время руководства школой Сухомлиновым был написан ряд учебных пособий и рассказов, а также историческое исследование о Мюрате. Кроме того, в разное время он сотрудничал с журналами «Разведчик», «Военный сборник» и газетой «Русский инвалид». С апреля 1897 года – начальник 10-й кавалерийской дивизии, входившей в состав войск Киевского военного округа. Штаб дивизии располагался в Харькове, в ее состав входили Новгородский драгунский, Одесский уланский, Ингерманландский гусарский и Оренбургский казачий полки. Способствовал учреждению в Сумах кадетского корпуса. С мая 1899 года Сухомлинов – начальник штаба Киевского военного округа. В штабе округа в это время работали генералы Рузский – генерал-квартирмейстер, Маврин – дежурный генерал, Благовещенский – начальник управления сообщений. Во время Курских маневров 1902 года Сухомлинов был начальником штаба «Южной армии» из войск Киевского военного округа, возглавляемой военным министром Куропаткиным. С октября 1902 года Сухомлинов – помощник командующего Киевским военным округом М. И. Драгомирова. С началом русско-японской войны Куропаткин предложил Сухомлинову занять пост его начальника штаба, но тот отказался, так как не был знаком с дальневосточным театром военных действий и сибирскими войсками. После выхода Драгомирова в отставку, Сухомлинов был 23 октября 1904 года назначен командующим войсками Киевского военного округа. В результате произошедших в Киеве беспорядков, которые твердой рукой Сухомлинова были прекращены, 19 октября 1905 года его назначают Киевским, Подольским и Волынским генерал-губернатором. Это пришлось на время революции 1905–1907 года. Несколько раз он становился целью террористов.
С основания Киевского отдела монархической организации «Русское собрание» был его председателем. В связи с назначением Киевским генерал-губернатором вынужденно отошел от дел и был замещен В. К. Абазой. После смерти своей второй жены Сухомлинов женился на Екатерине Викторовне Бутович (урожденной Гошкевич). Этому предшествовал скандальный бракоразводный процесс между Екатериной Викторовной и ее первым мужем, статским советником В. Н. Бутовичем, бывшим инспектором Народных училищ Киевской губернии. 2 декабря 1908 года Сухомлинов был назначен царем начальником Генерального штаба. Принимая должность начальника ГУГШ, он настоял на своем подчинении военному министру, считая необходимым единоначалие. В качестве начальника Генерального штаба Сухомлинову пришлось заниматься составлением новых мобилизационных планов. Член Совета государственной обороны (1908–1909).
Блистательное завершение его карьеры произошло 11 марта 1909 года, когда Сухомлинов занял пост военного министра, где проявил себя сторонником развития и использования новых видов техники. В его министерстве были созданы автомобильные части, Императорский военно-воздушный флот, в полках сформированы пулеметные команды, а в корпусах – авиаотряды. При Сухомлинове были расформированы резервные и крепостные войска, за счет чего были усилены полевые войска (число армейских корпусов выросло с 31 до 37). В 1911 году была создана военная контрразведка. Сухомлинов утвердил «Положение о контрразведывательных органах» и «Инструкцию начальникам контрразведывательных органов». Во время министерства Сухомлинов много ездил по стране, проверяя проведение пробных мобилизационных упражнений в разных частях.