Опасаясь подобных выступлений в тылу, Государственный Комитет Обороны по инициативе НКВД принял решение о массовом переселении некоторых народов за Урал, в Сибирь и Казахстан. Так перед военной контрразведкой была поставлена не свойственная этой структуре задача.
С немцами сотрудничали представители разных национальностей. Среди них были русские, украинцы, белорусы, жители Кавказа и Средней Азии. Но по решению о депортации переселению подлежали не отдельные личности, а целые народы. По разным данным, в годы войны были переселены люди 61 национальности. Они не лишались избирательных прав, сохраняли членство в партии, звания и должности. Однако теряли личное имущество, жилье, право жить на родной земле, а порой и саму жизнь.
В апреле 1943 года было решено преобразовать Управление особых отделов. На совещании у Сталина встал вопрос, какое название дать новой структуре. Кто-то предложил назвать ее «Смерть немецко-фашистским шпионам, диверсантам и вредителям». На это Сталин заметил, что шпионы и диверсанты бывают не только немецкие, и предложил более короткое название «Смерть Шпионам». Так появился СМЕРШ.
Это название стало нарицательным – за рубежом так именовали всю советскую контрразведку, даже когда СМЕРШа уже не существовало. Организаций под таким названием было три. СМЕРШ при НКВД подчинялся Берии. СМЕРШ Наркомата военно-морского флота подчинялся командующему флотом Николаю Кузнецову.
Все силы и время Абакумова уходили на создание максимально эффективной службы. 35-летний начальник СМЕРШа к своим подчиненным был требователен до крайности, но его профессионализм, умение быстро вникать в тонкости дела, сосредоточенность и педантизм вызывали уважение у всех сотрудников. Случалось, что заслуженные генералы, старшие по возрасту, вытягивались в струнку и потели за промахи, допущенные в работе.
Самым тяжелым обвинением для «смершевцев» были слова Виктора Абакумова: «Военная контрразведка ни к черту не годится!» Но нареканий со временем становилось все меньше. Благодаря советским агентам, внедренным в подразделения немецкой разведки, работа по выявлению шпионов стала более системной и эффективной.
Данные об агентах противника централизованно обрабатывались. Оперативные группы по их задержанию получали детальную информацию: сведения о готовящихся перебросках, личные приметы, описание одежды и оружия. Использовались так называемые «распознаватели» – люди, знавшие агентов в лицо. Оперативники знали типичные «легенды», которые использовали немцы, а также признаки, по которым можно отличить поддельные документы и награды. По требованию Абакумова в советских войсках постоянно менялись форма заполнения личных документов, штампы, печати и даже порядок ношения наград.
СМЕРШ был службой чрезвычайной секретности. Невероятно, но о ней мало кто знал как во время войны, так и после нее. Сотрудники носили военную форму самых разных родов войск и официально могли быть обычными артиллеристами, пехотинцами, писарями, врачами. Они не имели даже удостоверения единого образца и уж тем более привычки показывать его при посторонних.
Вооружались смершевцы так, как им было удобно. Офицер с автоматом всегда вызывал недоумение, а потому популярностью в СМЕРШе пользовались револьверы наган, пистолеты ТТ, немецкие вальтеры и люгеры, беретта М34, малогабаритный пистолет Lignose. Набирались в СМЕРШ только опытные фронтовики, чаще всего после ранений. Все они проходили школу СМЕРШа с чрезвычайно насыщенной программой обучения.