За многие годы в НКВД скопился компрометирующий материал практически на всех высокопоставленных военных. В июле 1941 г . ведомство Берии доложило вождю об очередном «заговоре военных», участниками которого оказались 4 бывших заместителя наркома обороны (А.Д. Локтионов, К.А. Мерецков. И.И. Проскуров и П.В. Рычагов), нарком вооружения СССР Б.Л. Ванников, начальник штаба ВВС П.С. Володин, начальник
ПВО Г.М. Штерн, помощник начальника Генштаба Я.В. Смушкевич и еще 8 генералов и ряд руководителей оборонной промышленности.
Неудачное начало войны дало повод для новой волны арестов. За 18 дней противник продвинулся на восток на 450—600 км, захватил большую территорию, на которой располагалось 200 складов с горючим, продовольствием, боеприпасами и другим имуществом. 28 советских дивизий были полностью разгромлены, а еще 72 дивизии потеряли свыше половины своего состава. Потери оружия и боевой техники были очень велики: 6 тыс. танков, 9,5 тыс. орудий, около 12 тыс. минометов, не менее 3,5 тыс. самолетов.
Большая часть потерь приходилась на Западный фронт, именно здесь немцы наносили главный удар. Как уже говорилось выше, именно это направление советский Генштаб считал наиболее опасным и предлагал стянуть сюда основные силы. Но Сталин приказал сосредоточить большую часть войск на юго-западном направлении (на Украине). Когда его прогнозы не сбылись, Главковерх нашел «козлов отпущения». Он санкционировал арест и предание суду командующего, начальника штаба, начальника артиллерии и начальника связи Западного фронта, а также командующего 4-й армией «за позорящую звание командира трусость, бездействие власти, отсутствие распорядительности, развал управления войсками, сдачу оружия противнику без боя и самовольное оставление позиций».
Приказав прочесть это постановление во всех ротах, батареях, эскадронах и авиаэскадрильях, Председатель ГКО хотел убедить всех военнослужащих, что именно эти генералы виноваты в трагических событиях начала войны, одновременно он предупреждал, что будет и впредь «железной рукой пресекать всякое проявление трусости и неорганизованности в рядах Красной Армии».
Подозрительность и недоверие к командным кадрам проявились в том, что 16 июля 1941 г . был восстановлен институт военных комиссаров, как это было в период самых массовых чисток в армии (1937—1940). Теперь вновь во всех частях, соединениях, штабах, учреждениях Красной Армии, а через несколько дней и на кораблях ВМФ устанавливались должности военных комиссаров, на которых возлагалась обязанность строго контролировать проведение в жизнь приказов высшего командования, своевременно сигнализировать вышестоящим о недостойных командирах и политработниках, руководить политорганами и парторганизациями войсковых частей. Без подписи комиссара ни один приказ не имел законной силы. Это подрывало единоначалие в армии и возрождало губительное для военного организма двоевластие. Комиссар являлся не только «представителем партии и правительства», не только политическим воспитателем красноармейцев, но и представителем карательных органов в армии. Подобное положение сохранялось в течение 15 месяцев и было отменено в октябре 1942 г ., когда по настоянию военачальников в РККА и РККФ военных комиссаров после присвоения им обычных воинских званий перевели на должности войсковых и военно-морских командиров.
20 июля 1941 г . в целях координации деятельности всех карательных органов происходит объединение народных комиссариатов внутренних дел и госбезопасности в единый НКВД СССР. Если учесть, что за три дня до этого и военная контрразведка (особые отделы) вошла в состав этого Наркомата, то отныне все карательные ведомства оказались под контролем наркома Берии. Эта мощная структура, состоявшая из десятков отделов, управлений, ведавшая политической и научно-технической разведкой, контрразведкой, тюрьмами, колониями, лагерями, строительством и эксплуатацией крупных народнохозяйственных объектов, просуществовала до весны 1943 г ., когда разведка и контрразведка были выделены в самостоятельный Наркомат госбезопасности СССР (нарком В.Н. Меркулов), а особые отделы возвращены в состав НКО и преобразованы в Главное управление контрразведки (СМЕРШ) во главе с B.C. Абакумовым.
Убежденный в плодотворности карательных мер, Сталин считал аресты и наказания командиров «лучшим способом оздоровления фронта». 16 августа 1941 г . он подписал приказ Ставки № 270, в котором безосновательно обвинил ряд офицеров и генералов в измене и пригрозил, что за отступление без приказа командиров следует расстреливать, а их близких родственников — судить. Всего с июля 1941 г . по март 1942 г . было расстреляно 30 генералов: 1 генерал армии, 2 генерал-полковника, 12 генерал-лейтенантов, 15 генерал-майоров. Все они впоследствии были реабилитированы.