11 марта 1909 года Владимир Александрович занял пост военного министра. С этого момента вся его деятельность была направлена на завершение реформ в русской армии, начатых его предшественниками. Правда, решение задач реформирования армии осуществлялось медленно, не всегда в правильном направлении. Перевооружение велось в основном за счет закупок оружия за рубежом, собственная военная промышленность была очень слабой. Мало внимания уделялось освоению новой техники – самолетов, автомобилей, пулеметов. При Сухомлинове были расформированы резервные и крепостные войска, за счет чего были усилены полевые войска (число армейских корпусов выросло с 31 до 37). В 1911 году была создана военная контрразведка.
В то же время, при работе в Совете министров у Сухомлинова сложились натянутые отношения с министром финансов В. Коковцовым, который стремился всеми средствами сократить военные расходы.
С началом войны, в связи с развертыванием Ставки Верховного главнокомандующего, роль военного министра свелась в основном к вопросам снабжения действующей армии. При этом интриги между Сухомлиновым и некоторыми другими министрами продолжались. Поэтому когда к весне 1915 года обнаружился большой недостаток снарядов и другого военного снаряжения, Сухомлинова стали считать главным виновником плохого снабжения русской армии. Инкриминировались ему и другие «дела», подавляющая часть из которых была следствием интриг в высших кругах власти.
13 июня 1915 года под давлением общественного мнения Сухомлинов был уволен с должности военного министра. Вскоре после этого было начато расследование его деятельности на посту министра. 8 марта 1916 года он был уволен с военной службы, а 29 апреля 1916 года – арестован и находился в заключении в Трубецком бастионе Петропавловской крепости на время следствия. Но оно результатов не дало, и 11 октября 1916 года Владимир Александрович был переведен под домашний арест, и у него появилась возможность публичного оправдания. Со стороны императора и других сановников предпринимались попытки свернуть дело Сухомлинова, но министры юстиции А. А. Хвостов и А. А. Макаров не допустили этого, угрожая отставкой.
После отречения Николая II, 1 марта 1917 года В. А. Сухомлинов вновь был арестован. По этому поводу газета «Известия» Петроградского совета рабочих и солдатских депутатов 9 марта 1917 года от имени прапорщика 171 пехотного запасного полка Романа Лукича Чиркунова писала:
«28 числа народ, проходящий по Офицерской улице, был обстрелян из дома № 55, где проживал Сухомлинов. По просьбе собравшейся толпы, желавшей обстрелять этот дом, я с депутатами от этой же толпы произвел обыск чердаков и подвалов этого дома, причем в подвале мною найдено было два пулемета системы Кольта и 10 винтовок с запасом патронов и там же арестован переодетый в статское полицейский, оказавший сопротивление. На чердаках было арестовано пять неизвестных при трех револьверах. Все шестеро были отвезены в думу. За домом, где проживал Сухомлинов, был учрежден надзор.
1 марта мне сообщили, что по черному ходу будто бы прошел Сухомлинов и что около дома собралась толпа, желавшая учинить над ним самосуд. Указав толпе, что в наши задачи не входит производить самосуд, так как Сухомлинов не избежит суда, я с депутатами от той же толпы прошел в квартиру. Мне сказали, что Сухомлинова нет дома. Но при обыске Сухомлинов совершенно случайно был найден в своей спальне под периной и с подушкой на голове. Ему было предложено немедленно же одеться, Сухомлинов заявил, что пребывание его известно председателю Государственной думы Родзянко, которому он будто бы послал письмо. Сухомлинов утверждал, что он не скрывался. При обыске квартиры найден один револьвер. Об обыске составлен акт, оставленный у госпожи Сухомлиновой, за подписями всех присутствующих.
При выходе Сухомлинова толпа кричала: «Изменник! Продал родину!» и хотела сорвать с него погоны. Сухомлинов бледный, как полотно, и трясущийся поднял руку и стал клясться, что он невинен, спрашивал, почему Россия недовольна им, ведь он к началу войны выставил четыре с половиной миллиона войск, что пока он был во главе военного ведомства, все было благополучно.
После этой своей речи он был посажен в автомобиль и доставлен в Государственную думу».
Сам Сухомлинов в своих воспоминаниях пишет: «В то время, когда я так отстаивал свою голову, вспыхивает Февральская революция 1917 года, и какая-то компания вооруженных людей арестовывает меня на квартире и везет в Таврический дворец, где уже организовалась новая власть. Во время переезда в грузовом автомобиле субъект в очках держал против моего виска «браунинг», дуло которого стукалось мне в голову на ухабах. Полнейшее мое равнодушие к этому боевому его приему привело к тому, что он вскоре спрятал оружие в кобуру. Затем несколько вопросов относительно моего дела и совершенно спокойные мои ответы на них окончились тем, что первоначальное неприязненное ко мне отношение превратилось в благожелательное.