Руководителем «Смерш» был назначен 35-летний комиссар государственной безопасности 3-го ранга Виктор Абакумов, с полномочиями заместителя наркома обороны Сталина.
На «Смерш» возлагались следующие задачи:
Через двое суток, 21 апреля 1943 года, Постановлением ГКО СССР № 3222 сс/ов было введено в действие Положение о Главном управлении контрразведки Народного Комиссариата Обороны («Смерш») и его органах на местах. Новая спецслужба представляла собой строго централизованную организацию, ее подразделения на местах подчинялись только вышестоящим органам. Она наделялась самыми широкими полномочиями, которые диктовались чрезвычайной обстановкой военного времени. При этом строго соблюдались нормы действовавшего закона – аресты военнослужащих в обязательном порядке согласовывались с прокурором и командиром соответствующего уровня.
Двадцать седьмого апреля Сталин утвердил организационно-штатную структуру «Смерш». Центральный аппарат включал в себя секретариат, 14 оперативных отделов, подразделения, отвечающие за шифросвязь и использование оперативно-технических средств, а также кадровый орган. Общая численность центрального аппарата составляла 646 человек; при фронтовых управлениях работали либо 130 человек (более пяти армий), либо 112 (не более четырех армий), в отделах военных округов – от 102 до 193 человек, в армейских отделах – 57.
В интересах конспирации форма одежды, погоны и другие знаки отличия сотрудников «Смерш» соответствовали тем, что носили военнослужащие частей, при которых велась контрразведывательная работа. Эта традиция в военной контрразведке сохранилась и до наших дней.
Особый характер деятельности органов «Смерш» подчеркивался самим названием – отдел (управление) контрразведки. До образования «Смерш» это слово – «контрразведка» – не так часто использовалось в обиходе сотрудников Особых отделов.
Новая спецслужба была обречена стать эффективной и результативной, потому что «Смерш» – это прежде всего люди. В первые месяцы войны Управление Особых отделов НКВД СССР потеряло значительную часть личного состава. При этом ни один сотрудник не сдался в плен и не перешел на сторону врага. Понесенные потери восполнялись боевыми армейскими офицерами, в основном командирами ротного и батальонного звена. В подавляющем большинстве они были умелыми организаторами, выполняли задачи с минимальными потерями и обладали непререкаемым авторитетом у личного состава. Армейские офицеры и бойцы знали истинную цену контрразведчикам и принимали как своих.
С первых дней своего существования «Смерш» уверенно заявил о себе как грозная сила для шпионов, террористов, диверсантов и изменников. Под ударами советских войск рассыпалась фашистская «Цитадель». На огненной Курской дуге окончательно сгорели планы гитлеровского командования вернуть себе стратегическую инициативу на Восточном фронте. В этом была немалая заслуга контрразведки.