По всей видимости, в отделе «Иностранные армии — Восток» с пристальнейшим вниманием следили за всем, что касалось советской разведки и контрразведки. Сохранилась папка из геленовского архива на эту тему — впоследствии она пригодилась ЦРУ, тем более что некоторые из ключевых фигур — Абакумов, Круглов, Серов — продолжали занимать высокие посты в советской разведке и после войны. Гелен отдал распоряжение майору Шмальшлегеру из штаба «Валли», как, впрочем, и другим своим агентам, посылать любую информацию, даже на первый взгляд совершенно незначительную, если она имеет отношение к деятельности советской разведки.
Складывая из мозаичных фрагментов картину, анализируя ее с присущей ему проницательностью, Гелен узрел то, что было скрыто от посторонних взглядов — он открыл существование СМЕРШа.
Спустя много лет ныне покойный Ян Флеминг расскажет своим читателям об «официальной террористической организации советского правительства», добавив при этом столько невероятных, едва ли не абсурдных деталей, что многие решили, будто СМЕРШ — это лишь плод писательского воображения. На самом деле таковая организация действительно существовала — она была создана в начале 1943 года по приказу сталинского Комитета обороны. Примерно за полгода до этого, в октябре 1942 года, Сталин упразднил институт военных политкомиссаров, которых ненавидели буквально все, от командиров до рядовых, введя в действие принцип единоначалия — то есть командиру вменялось в обязанность следить также и за политической лояльностью своих подчиненных. Офицеры НКВД, в отличие от офицеров военной разведки, теперь не имели к армии никакого отношения. Увы, это нововведение не оправдало себя. После создания Русской освободительной армии генерала Власова Гелен и другие представители немецких разведорганов удвоили свои усилия по вербовке советских солдат — число перебежчиков возрастало не по дням, а по часам. Вот тут-то Берия и задумал создать СМЕРШ — специальную организацию контршпионажа и контрпропаганды, режущее слух название которой — не что иное, как сложенные вместе два первых слога фразы «смерть шпионам». Берия поставил во главе СМЕРШа человека, зарекомендовавшего себя дисциплинированным и жестоким чекистом — Виктора Семеновича Абакумова. Подобно Сталину и Берии, он тоже был грузином по национальности — настоящее его имя Аба Кум. Смершевцы заняли место бывших политкомиссаров. Геленовским шпионам стало доподлинно известно, что их около сотни и состоят они при штабах армейских корпусов. Вскоре смершевцы появились в каждом военном подразделении.
Когда в августе 1942 года маршал Ворошилов был назначен руководителем партизанского движения, его штаб возглавил генерал Пантелеймон Кондратьевич Пономаренко — именно он осуществлял непосредственное руководство партизанскими операциями, в том числе и в немецком тылу. Центром контропераций, конечно же, стал геленовский отдел. Сохранилось огромное количество документов — аналитических и докладных записок, касающихся партизанского движения. Кроме своих собственных агентов, Гелен также использовал кадры штаба «Валли-111» под началом майора Шмаль-шлегера: партизанское движение с каждым днем представляло нарастающую опасность. Первое донесение о существовании СМЕРШа ОКВ получило от Гелена уже вскоре после его создания. Последующие рапорты приходятся на период времени между 8 августа 1943 года и 16 марта 1945 года. Документы отдела «Иностранные армии — Восток» 1943—44 годов полны «предостережений» Гелена, призывавшего к бдительности в борьбе против «террористов и убийц». По всей видимости, Гитлер и представители нацистской верхушки в большей степени внимали именно этой информации, нежели анализу стратегических разведданных, особенно после того, как партизаны предприняли попытку покушения на минского гауляйтера Вильгельма Куба и губернатора Львова Отто Бауэра.
Величайшим успехом Гелена можно считать 13 июля 1943 года, когда через одного из агентов он заполучил в свои руки секретное руководство для старших офицеров СМЕРШа. Говорят, будто Гитлер с жадностью, от первой до последней строчки прочитал немецкий перевод документа, содержавшего практически полное описание деятельности этой организации.