В первые годы управления страной Гитлером СД действительно не представляла из себя ничего фундаментального, являясь своеобразным клубом высокоинтеллектуальной молодежи, которую сюда влекла романтика секретной службы и желание «улучшить национал-социализм». По мнению молодых людей, новый порядок в Германии должен «носить «разумный характер» диктатура одного человека — быть рациональной, а сама национал-социалистская революция соответствовать основным правилам человеческого общежития». Они предполагали, что, будучи спецслужбой, за спиной которой стоял сам Гиммлер, смогут изменить положение вещей в лучшую сторону. Как раз одним из представителей этой молодежи был Отто Олендорф, который через своего университетского товарища смог попасть на прием к Рейнхарду Хене, занимавшему должность начальника отдела центрального управления СД. Там, в окружении Хене, он обнаружил многих таких же, как и он сам, критически думающих людей, написал заявление и был зачислен в партийную спецслужбу.
Сюда же пришли и другие: Бест, Мельхорн, Берендс, Шелленберг. Все они были представителями интеллектуальной элиты страны. Однако, часто конкретные шаги Гейдриха наталкивались на их сопротивление. Так, Вернер Бест, автор «боксгеймских документов», возглавивший организационный отдел СД, считал, что ключевые позиции в спецслужбе должны занимать юристы, в то время как Гейдрих хотел бы видеть на этих постах гибких людей, «не связанных юридическими нормами».
В начале 1935 года глава СД разделил спецслужбу на две части: партийную формацию, в которую вошли сотрудники его полиции безопасности, и разведывательную организацию. Первая была призвана в будущем стать основой для объединения партийных и государственных структур в одну. Вторая — стать «подвижным инструментом, органом ощущений и чувств на теле народа, видящим и слышащим все, что происходит у противника и во всех областях жизни». В результате и Бест, и глава гестапо Мюллер перешли в партийную формацию СД. На разведывательную составляющую своей организации Гейдрих возлагал большие надежды, желая ее превращения в немецкий аналог британской Сикрет Сервис (внешняя разведка Великобритании).
Центральный аппарат СД был увеличен, появились новые управления, получившие цифровые обозначения. Римской I обозначалось управление, занимавшееся организационными вопросами, II контрразведкой, III — зарубежной разведкой. Управления подразделялись на отделы, возглавлявшиеся, как правило, академиками или докторами наук. Гейдрих подобрал у себя неплохие кадры. Территория страны была поделена на семь командно-территориальных управлений СД. Далее шли округа, в которые уже входили отдельные учреждения спецслужбы в городах и сельских районах.
Со временем СД принялось за создание своей сети осведомителей. Как говорилось в специальном циркуляре, разосланном в начале 1937 года на места, нужно было в первую очередь привлекать «людей, обладающих общими познаниями и способных мыслить логически и по-деловому, в первую очередь — учителей, районных партийных руководителей, членов СА и СС, руководителей крестьянских объединений, врачей и вышедших на пенсию чиновников».
Численность СД постоянно росла. В 1937 году в спецслужбе работало около трех тысяч сотрудников, еще 50 тысяч значились в качестве осведомителей.
Главным же продолжал оставаться вопрос о том, чем же должна заниматься спецслужба, за кем следить и какие сведения добывать. Еще летом 1934 года Гиммлер объявил, что «СД должна выявлять противников национал-социалистской идеи, возглавить их ликвидацию и вести всю контрразведывательную деятельность государственного полицейского аппарата». Проводить же мероприятия в отношении конкретных лиц СД не имела право — это было прерогативой гестапо.
Идеологи СД, не желая, чтобы спецслужба стала неким придатком к политической полиции, старались придумать для нее свою нишу. И придумали, но слова о том, что СД является «крупнейшей мировоззренческой информационной службой партии и в конечном счете государства, которая должна отслеживать тенденции в умонастроениях граждан», звучали как-то неубедительно.
Недостаточность в прояснении сферы деятельности СД в 1935 году, в период ее становления, не раз становилось причиной различных казусов и столкновений с гестапо. По сути обе организации занимались примерно одним и тем же. Отдел политической полиции НА (марксизм) отслеживал коммунистов, тем же самым занимались и люди из отдела II 2 СД (левые партии и организации).
Формально СД обладала своего рода монополией на внутриполитическую разведку. Однако вело ее и гестапо, используя в то же время разведданные, получаемые от партийной службы безопасности.