Возглавив службу и подобрав в руководители квалифицированный персонал, Гейдрих принялся рисовать в сознании Гитлера, руководства страны, обычных граждан образ врага. В своих речах и выступлениях перед товарищами по партии он предостерегал их от излишней расслабленности, заявляя, что хотя все организации политических противников национал-социалистов уже разгромлены, враг по-прежнему силен. По его словам, оппоненты НСДАП стараются консолидироваться и развить подрывную и пропагандистскую деятельность внутри немецкого общества. Враги все те же: мировое еврейство, всемирное масонство и религиозные деятели, пытающиеся «лезть в политику». Опаснее же всего, по заверениям Гейдриха, враги скрытые, работающие в подполье и, якобы, располагающие значительными силами и возможностями. Цель и у тех, и у других одна — разрушение партии и государства.
При Геринге гестапо сосредотачивалось на борьбе с коммунистами, новый руководитель спецслужбы объявил врагами всех, кто «сознательно противостоит народу, партии и государству в идеологических принципах и политических акциях». В одном из внутренних меморандумов, изданных руководством для сотрудников гестапо с целью объяснить, с кем же тем нужно бороться, говорилось: «Это коммунисты, марксисты, еврейство, масонство, политические деятели из церковников, недовольные политическим строем, Черный фронт (возглавлял брат убитого Грегора Штрассера — Отто, бежавший из Германии и работавший против национал-социалистов из-за рубежа; сторонник левых взглядов), промышленные саботажники, сторонники абортов, гомосексуалисты (как подрывающих рост численности и жизненные силы народа), закоренелые уголовники, заговорщики и государственные изменники».
Еще до прихода к власти национал-социалистов СД занималась составлением картотеки на неблагонадежных — общественных деятелей и обычных граждан. Всего за несколько лет накопились значительные по своему объему архивы. Именно они и легли в основу деятельности гестапо на первых порах. Теперь же, когда круг врагов был расширен, картотека быстро пополнялась. Возникла необходимость их как-то классифицировать, и Гейдрих ввел специальные индексы для каждой категории. Под значком А1 проходили противники режима, которых после начала скрытой подготовки к общей мобилизации при приближении войны следует немедленно арестовать; А2 — лица, подлежавшие аресту в момент открытого объявления о мобилизации; АЗ — опасные для властей граждане, за которыми должен быть установлен постоянных контроль, включающий и прослушивание телефонных переговоров, и просмотр почты. Дважды в год картотека обновлялась, вносились уточнения и дополнения.
Очевидно, что с расширением круга врагов государства гестапо нуждалась во все новых и новых сотрудниках, и штат спецслужбы рос изо дня в день. К началу 1935 года в ней насчитывалось около шестисот человек. Создавалась разведенная сеть местными и окружных отделений тайной государственной полиции. Позднее к гестапо была присоединена и пограничная служба, при которой были созданы особые отделы, занимавшиеся вычислением врагов режима, желающих выехать или въехать в Германию. Над страной опустился железный занавес.
Одним из главных орудий гестапо, вселявших страх в немцев, стал так называемый превентивный арест. Будучи заключен в концентрационных лагерь сотрудниками тайной государственной полиции, гражданин мог не рассчитывать на рассмотрение его дела в суде, на помощь адвоката. Впрочем, привилегией в виде бессрочного ареста и заключения в концлагерь обладал лишь центральный аппарат гестапо. Местные отделения могли арестовать гражданина лишь на срок до семи дней и освободить, если о его продлении не приказало вышестоящее начальство.
Примечательно, что такая безнаказанность и творимое гестапо беззаконие породили у тайной государственной полиции врагов не только среди простых немцев, но и служителей Фемиды, и обычных чиновников, публиковавших, порой, данные о злоупотреблениях в отношении заключенных, содержавшихся в концлагерях, и откровенных преступлениях сотрудников спецслужбы.
Впрочем, Гиммлер еще в Мюнхене успешно боролся с подобными наскоками. Обладая значительной властью в качестве рейсхфюрера СС, он в свое время надавил на министра юстиции Франка, вынудив его приказать прокурорам воздерживаться от проведения расследования случаев смертей или пыток в концлагерях.
Весной 1935 года высший административный суд Пруссии издал постановление, согласно которому действия сотрудников гестапо не могут быть оспорены в административных судах. На них можно жаловаться лишь вышестоящему руководству самой спецслужбы.
Со временем суды и прокуратура почти повсеместно полностью приспособились к конъюнктуре и смирились с принципом, согласно которому если полиция действует в соответствии с правилами, установленными начальством, вплоть до самого высокого уровня, то ее действия не могут считаться противозаконными. То есть сотрудник гестапо был заведомо всегда прав, если его начальство не признало обратное, что происходило, безусловно, очень редко и в исключительных случаях.