Когда Сухомлинов был введен в Государственный совет, у него сложились натянутые отношения с министром финансов В. Коковцовым, который стремился сократить военные расходы. В связи с Балканской войной все более вызывающим, в отношении России, становилось поведение Австро-Венгрии и от этого в ноябре 1912 года на совещании у императора рассматривался вопрос о мобилизации войск трех российских военных округов. Сухомлинов выступал за эту меру, но В. Коковцову, ставшему к тому времени премьер-министром, удалось убедить императора не принимать такого решения, угрожавшего втягиванием России в войну. Сухомлинов же сказал:
В обстановке войны, когда к весне 1915 обнаружился большой недостаток снарядов и другой военной амуниции, Сухомлинова стали считать главным виновником плохого снабжения русской армии. 4 июня 1915 года под давлением общественного мнения Сухомлинов был уволен царем с должности военного министра. Вскоре было начато расследование его деятельности на посту министра, в том числе и вскрывшейся истории с бывшим внештатным агентом московской полиции Николаем Соловьевым, нечистым на руку дельцом и фальшивомонетчиком, который втерся в доверие к жене Сухомлинова и через нее добился протекции министра и даже работы в контрразведке. 8 марта 1916 года Сухомлинов был уволен с военной службы и исключен из членов Государственного совета. 21 апреля 1916 года он был арестован и находился в заключении в Трубецком бастионе Петропавловской крепости, пока продолжалось следствие. 11 октября 1916 года был переведен под домашний арест, и у него появилась возможность публичного оправдания. Со стороны высших сановников предпринимались попытки свернуть дело Сухомлинова, но министры юстиции А. А. Хвостов и А. А. Макаров не допустили этого, угрожая отставкой.
Сухомлинов впоследствии вспоминает: