После Февральской революции, I марта 1917 года, Сухомлинов был вновь арестован. Вот как описывал обстоятельства его ареста в газете «Известия Петроградского совета рабочих и солдатских депутатов» 9 марта 1917 года прапорщик 171-го пехотного запасного полка Роман Лукич Чиркунов: «28 числа народ проходящий по Офицерской улице был обстрелян из дома № 55, где проживал Сухомлинов. По просьбе собравшейся толпы, желавшей обстрелять этот дом, я с депутатами от этой же толпы, произвел обыск чердаков и подвалов этого дома, причем в подвале мною найдено было два пулемёта системы Кольта и 10 винтовок с запасом патронов и там же арестован переодетым в статское полицейский, оказавший сопротивление. На чердаках было арестовано пять неизвестных при трех револьверах. Все шестеро были отвезены в Думу. За домом, где проживал Сухомлинов был учрежден надзор. 1-го марта мне сообщили, что по чёрному ходу, будто бы прошел Сухомлинов и что около дома собралась толпа, желавшая учинить над ним самосуд. Указав толпе что в наши задачи не входит производить самосуд, так как Сухомлинов не избежит суда, я с депутатами от той же толпы прошел в квартиру. Мне сказали что Сухомлинова нет дома. Но при обыске Сухомлинов совершенно случайно был найден в своей спальне под периной и с подушкой на голове. Ему было предложено немедленно же одеться, Сухомлинов заявил что пребывание его известно председателю Государственной Думы Родзянко, которому он будто бы послал письмо. Сухомлинов утверждал что он не скрывался. При обыске квартиры найден один револьвер об обыске составлен акт оставленный у госпожи Сухомлиновой, за подписями всех присутствующих. При выходе Сухомлинова толпа кричала, изменник, продал родину и хотела сорвать с него погоны. Сухомлинов бледный как полотно и трясущийся поднял руку и стал клясться, что он невинен, спрашивал почему Россия недовольна им, ведь он к началу войны выставил четыре с половинной миллиона войск, что он был во главе военного ведомства и все было благополучно. После этой своей речи он был посажен в автомобиль и доставлен в Государственную Думу».
Сам Сухомлинов в мемуарах несколько иначе описывал обстоятельства своего повторного ареста: «В то время, когда я так отстаивал свою голову, вспыхивает Февральская революция 1917 года, и какая-то компания вооруженных людей арестовывает меня на квартире и везет в Таврический дворец, где уже организовалась новая власть. Во время переезда в грузовом автомобиле субъект в очках держал против моего виска браунинг, дуло которого стукалось мне в голову на ухабах. Полнейшее мое равнодушие к этому боевому его приему привело к тому, что он вскоре спрятал оружие в кобуру. Затем несколько вопросов относительно моего дела и совершенно спокойные мои ответы на них окончились тем, что первоначальное неприязненное ко мне отношение превратилось в благожелательное.
У Таврического дворца снаружи и в залах, по которым я проходил, была масса народу, и никаким оскорблениям я не подвергался, как об этом неверно сообщали газеты. Действительно, всего один долговязый, кавказского типа человек произнес из дальних рядов: «Изменник». Я остановился и, глядя на него в упор, громко ему ответил: «Неправда!» Тип настолько уменьшился тогда в росте, что головы его больше не стало видно, и я спокойно продолжал дорогу, без малейших каких-либо инцидентов».
Суд над Сухомлиновым проходил с 10 августа по 12 сентября 1917 года. 20 сентября он был приговорен по обвинению в «недостаточной подготовке армии к войне» к бессрочной каторге и лишению всех прав состояния. Жена Сухомлинова, как и муж, обвинявшаяся в шпионаже, была оправдана. Каторга была заменена на тюремное заключение, и Сухомлинов был заключен в Трубецкой бастион Петропавловской крепости. После Октябрьской революции бывшему министру повезло. Его перевели в тюрьму «Кресты». 1 мая 1918 года освободили по амнистии, как достигшего 70-летнего возраста. Сухомлинов выехал в Финляндию, а оттуда в Германию. В эмиграции написал воспоминания и тихо скончался 2 февраля 1926 года в Берлине в возрасте 77 лет, успев написать мемуары. Его молодая жена, Екатерина Викторовна Гошкевич, не была так счастлива. Она была расстреляна ВЧК весной 1921 года по обвинению в спекуляции. Ей было 39 лет.
Сухомлинов, несомненно, не был шпионом, иначе Германии и Австро-Венгрии был бы в деталях известен план развертывания русской армии. Но события 1914 года показали, что это было не так. Можно даже сказать, что к Первой мировой войне русская армия была готова значительно лучше, чем в 1904 году к Русско-японской войне. Будучи в конце 1908 года назначен начальником Генштаба, а в марте 1909 года сделавшись военным министром, Сухомлинов сделал все, чтобы подготовить армию к войне против Германии и Австро-Венгрии, улучшил ее снабжение и пытался улучшить подготовку резервистов. Но он не мог ничего сделать против того объективного факта, что Германия была значительно сильнее России в экономическом и военном отношении, а германская армия превосходила русскую.