В организационном плане Гелен создал сложную систему филиалов, разместив представительства БНД по всей Германии. Центр в Пуллахе (Генеральная дирекция) управляла так называемыми Генеральными представительствами, ответственными за внешнюю разведку и контршпионаж: в Штокинге под Мюнхеном (GV–C, сфера ответственности: ГДР, Австрия, Чехословакия), в Гамбурге и Бремене (GV-B, сфера ответственности — ГДР, военно-морской флот), в Дармштадте (GV-H, сфера ответственности: ГДР, Польша, СССР), в Мюнхене (GV-G, сфера ответственности: ГДР, балканские государства) и в Карлсруэ (GV–L, сфера ответственности: ГДР, активный контршпионаж в Восточном блоке). Этим Генеральным представительствам подчинялись Окружные представительства, которые были во всех крупных городах Западной Германии (например, в Западном Берлине — BV-E). Подпредставительства, иначе называемые «точками проверки», наконец, представляли собой «фронтовые штабы» для активного шпионажа, вербовки обучения и управления агентами. Кроме того, вдоль всей внутригерманской границы и в Западном Берлине были так называемые отделения — филиалы на жаргоне БНД — места, куда легко могли добраться информаторы. Эти отделения действовали под прикрытием коммерческих предприятий, страховых обществ, налоговых консультаций, бюро переводов или бюро трудоустройства, а также как филиалы каких-либо государственных учреждений. Все вместе это представляло собой весьма разветвленный каркас, который официально должен был служить целям «герметизации» и поддержания принципа „need to know“(«знать только то, что требуется знать») и защите источников. Эта непроницаемая система раз за разом подвергалась критике со стороны самих сотрудников. Она усложняла четкое управление и была мало понятна самим служащим БНД. Она была дорогой из-за большого числа необходимых офисных помещений, из которых после «расшифровки» раз за разом приходилось съезжать. Очень сложной была почтовая связь, так как курьеры не могли знать эти бюро, а желаемую конспирацию все равно не удавалось поддерживать на нужном уровне достаточно долгое время. «Крот» КГБ в БНД Хайнц Фельфе предполагал, что сложность структуры служила не столько безопасности Службы, сколько скрывала отсутствие ясного разделения, четкой структуры и разграничения полномочий, поскольку Райнхард Гелен опасался из-за точного распределения задач утратить часть своего влияния, знаний и полномочий. Именно поэтому система филиалов, просуществовавшая до ухода генерала Гелена в отставку с поста президента БНД в 1968 году, на практике служила в большей степени единоличному правлению шефа разведки.
Как и ее противник в Восточной Германии, «Штази», Федеральная разведывательная служба неоднократно меняла свою структуру в зависимости от ситуации. Несмотря на многие детали, известные в подробностях, очень сложно четко реконструировать изменения организационной структуры БНД с ранних времен Организации Гелена до конца Холодной войны. За агентурный шпионаж отвечали два отдела — Первый отдел, собственно занимавшийся агентурной разведкой, и Третий отдел, отвечавший за анализ и оценку полученной информации. Отношения между ними порой были довольно напряженными. В 50-е годы, в разгар Холодной войны, оба отдела занимались в первую очередь военным шпионажем и анализом добытых результатов. Юлиус Мадер в книге «Серая рука» еще в 1960 году опубликовал своего рода план основных задач генерала Гелена, обязательный для выполнения всеми шпионами Службы в Восточном блоке. Из 15 разведывательных целей, названных в документе, только две задачи совсем не касались военных или военно-экономических вопросов. Все остальные требования включали: наблюдение за маршами войск и передвижениями военных грузов, за складами горючего, за ремонтными мастерскими железной дороги, железнодорожными путями, шоссейными дорогами, мостами, аэродромами, телеграфными стациями, электростанциями, гидрогенизационными заводами, предприятиями химической промышленности, военными заводами, полигонами, командными пунктами, казармами, за собственно воинскими частями противника и за настроениями в войсках. В общем, «производящий сильное впечатление документ ранней стадии Холодной войны, в котором содержится все, что определяло задачи западного шпионажа все следующее десятилетие».
В ранние годы своего существования западногерманская служба внешней разведки заработала себе хорошую славу. Самой сильной стороной деятельности «Орг» был военный шпионаж. До возведения Берлинской стены ни одна западная разведка не обладала лучшими предпосылками для шпионажа в ГДР, нежели БНД. И в эту задачу входило также наблюдение за дислоцированными там советскими войсками.
б) Контрразведка Министерства государственной безопасности ГДР