Задачи подобного масштаба требовали качественно нового уровня организации и контрразведывательной защиты советских вооруженных сил. Оптимальный путь для достижения этой цели шел через объединение усилий по руководству обороной государства и обеспечению безопасности армии и флота в единое целое, к созданию мощного и динамичного контрразведывательного органа, призванного аккумулировать в себе накопленный опыт агентурно-оперативной работы начального и переломного периодов войны, органа, способного решительными действиями сковать и окончательно похоронить подрывные замысли военно-разведывательных служб фашистской Германии против Красной армии. Сталин как Верховный главнокомандующий, наверное, раньше других понял назревшую необходимость реорганизации Управления особых отделов, действовавшего в системе НКВД. Уже с конца 1942 года он вынашивал планы создания нового контрразведывательного органа. Когда у него вырисовались контуры замысла, он собрал начальников отделов фронтов. На совещании обсуждались проекты положения, структуры и штатов задуманного органа. Встал вопрос и о его названии. Высказывались различные мнения, но остановились на предложении Сталина — именовать вновь создаваемую контрразведывательную службу «Смерть шпионам», сокращенно Смерш.
Подготовительная работа по реорганизации военной контрразведки завершилась постановлением Совнаркома СССР № 415–138сс от 19 апреля 1943 года. Постановление предусматривало изъятие из системы НКВД СССР Управления особых отделов и подчиненных ему органов, образование на их базе Главного управления контрразведки Смерш и передачу его в подчинение Наркомата обороны СССР. Таким образом родилась новая контрразведывательная служба — Смерш. Его крестной матерью явилась священная война с фашистской Германией.
Были ли субъективно, внутренне готовы к таким крутым преобразованиям сами особые отделы? Несомненно. В жестких схватках с немецким абвером они закалились и окрепли, накопили большой опыт контрразведывательной работы в специфической обстановке фронта, оборонительных и наступательных операциях.
В трагических условиях начального периода войны особые отделы в борьбе со спецслужбами Германии вынуждены были ограничиваться преимущественно оборонной, защитной тактикой. Они ловили заброшенных противником шпионов и диверсантов, подвергали проверке выходцев из плена и окружения, занимались поиском паникеров, провокаторов и трусов в войсках, оказывали помощь командованию в наведении строгого порядка в воинских частях и прифронтовой зоне. Обстановка отступления армии, утраты управления войсками, непредсказуемости развития событий, повторяющихся окружений, больших потерь в людях, в том числе и среди сотрудников особых отделов, а нередко и неразбериха не позволяли органам контрразведки сосредоточиться на главных задачах, сделать большее.
С переходом инициативы в боевых действиях к Красной армии, перелома в ходе войны все более наступательный характер стала принимать и борьба органов военной контрразведки с немецко-фашистскими спецслужбами.
Ведомственное переподчинение военной контрразведки и ломка ее структуры в самый разгар Великой Отечественной войны явились смелым и, как показало время, дальновидным шагом, полностью себя оправдавшим. Это именно тот случай, когда известную пословицу «на переправе коней не меняют» жизнь опровергла. Совнарком также учел ошибку первой попытки ввести военную контрразведку в систему НКО в 1941 году. Двойственность подчинения исключалась, так как начальник Главного управления контрразведки Смерш одновременно являлся и заместителем наркома обороны СССР.
Переподчинение военной контрразведки Наркомату обороны максимально приблизило армейских чекистов к командованию и политорганам, укрепило связь и взаимодействие между ними, обеспечило оперативность и гибкость в решении задач защиты безопасности войск на фронте и в тылу. Значительно ускорилось решение служебных вопросов, прохождение документов и оперативной информации в результате прямого выхода начальника главка на Верховного главнокомандующего. Трудно переоценить, насколько важны были эти изменения и для военной контрразведки, и для командования в решающий период войны.
Структура Главного управления контрразведки Смерш (ГУКР НКО Смерш) предусматривала четкое распределение служебных полномочий и обязанностей, максимально учитывала потребности военного времени, была удобной для управления. Аппарат Смерша состоял из одиннадцати отделов и дополнительно к ним отдела кадров, административно-хозяйственной службы и секретариата, в свою очередь, при необходимости делившихся на отделения. Каждый из отделов отвечал за работу на конкретном направлении: контрразведывательная защита Генштаба и центральных органов Наркомата обороны, розыск агентуры противника и ведение радиоигр, организация зафронтовой работы, руководство подчиненными органами, следствие, работа среди военнопленных, учет и статистика, а также проведение оперативно-технических мероприятий, наружного наблюдения, обысков и арестов.