Во главе ГПУ стоял его начальник. Таковым являлся Феликс Дзержинский, одновременно занимающий посты народного комиссара путей сообщения и народного комиссара внутренних дел. Ввиду одновременного совмещения Дзержинским нескольких должностей, его замещал по руководству ГПУ Иосиф Ун- шлихт.
Начальнику ГПУ подчинены все отделы и управления, входившие в состав ГПУ. В подчинении у него состояла, в частности, и коллегия ГПУ, так как фактически ему принадлежало право безапелляционного, бесконтрольного и срочного расстрела всех без исключения граждан Советской России или помилование их, хотя формально такого рода вопросы подлежали разрешению «тройки» или коллегии ГПУ.
Коллегия ГПУ состояла из ответственных сотрудников этого учреждения — начальников отделов и управлений.
Звание члена коллегии ГПУ являлось вместе с тем как бы и почетным званием, что видно из вышеприведенного примера с Манцевым.
Ведению коллегии подлежали вопросы административного, общеоперативного и судебно-следственного характера. Дела о сотрудниках ГПУ почти всегда разрешались коллегией. Делалось это во избежание опорочения их при гласном судебном рассмотрении.
Как коллегия, так и «тройка» равно пользовались правом срочного расстрела.
Судебные заседания происходили без участия подсудимого или его защитника. В заседании присутствовал следователь секретно-оперативной части (контрразведывательного отдела) ГПУ. Этот следователь выступал в качестве докладчика по существу дела. Обсуждение его доклада являлось простой формальностью, так как приговор предрешен уже с первого дня появления арестованного в стенах ГПУ.
«Тройка» состояла из начальника ГПУ, его помощника и докладчика — следователя.
Государственное политическое управление делилось на несколько управлений, отделов и отделений. В его состав входила также хозяйственная часть, ведавшая распределением продуктов, снабжением обмундированием и выдачей жалованья сотрудникам ГПУ. В состав хозяйственной части входили многочисленные отделы, подотделы, отделения и т. п. Она представляла собой громадное учреждение, которое имело свои собственные склады, лавки, кооперативы, портняжные и сапожные мастерские и т. п.; занималась не только изготовлением обуви и платья в своих мастерских, но также продажей продуктов, отпускаемых ей управлением снабжения Московского военного округа. Эти операции производились в целях самоокупаемости учреждений ГПУ.
Административно-организационное управление ведало техническим проведением в жизнь назначений, командирований и увольнений сотрудников ГПУ, изданием приказов, выработкой штатов и смет. По существу, это управление являлось мертвым и до последней степени бюрократическим. С его сметами и штатами на местах никто из начальников ГПУ не считался и по своему личному усмотрению вырабатывал собственные штаты и сметы.
Новым отделом ГПУ являлось управление предприятий. Оно было подчинено высшему административно-оперативному органу: начальнику и коллегии ГПУ. Образованию этого учреждения предшествовали следующие обстоятельства. Касса органов ГПУ, пополнявшаяся главным образом реквизированными ценностями и капиталами, фактически не давала возможности содержать такой огромный штат гласных и негласных секретных сотрудников, какой находился в распоряжении ГПУ. Так, например, в одном Харькове ГПУ имело 4500 официальных сотрудников, не считая секретных. В состав Одесского ГПУ, имевшего уездные штаты, входило 2000 официальных сотрудников, не считая войскового отряда, и т. п.
В то же время отпускаемые центром на основании смет и штатов кредиты были таковы, что давали возможность пользоваться услугами лишь одной трети действительного числа как гласных, так и негласных сотрудников. Провинциальные отделы ГПУ оказались еще в худшем положении, так как обычно отпущенные на их содержание кредиты не достигали своего назначения: их расхищали и обращали на свои нужды центральные органы ГПУ. ГПУ было вынуждено самолично изыскивать денежные средства для своего существования. Эти средства оно добывало путем реквизиций, производя их под видом обысков, а также поисков запрещенного к хранению имущества, взяточничества и контрабанды.
В период так называемой новой экономической политики, когда исчезла возможность совершать самочинные реквизиции, учреждениям ГПУ пришлось изыскивать другие способы для своего существования. Тогда именно ГПУ принялось за фабрикацию фальшивых царских монет, которые и выбрасывало в обращение через своих секретных сотрудников.
Тогда же под видом борьбы с контрабандой была создана особая Комиссия по борьбе с контрабандой. В действительности же эта комиссия вырабатывала не меры борьбы с контрабандой, а обсуждала возможность использовать ее в своих собственных интересах. Так, комиссией было установлено, что каждый из секретных сотрудников имеет право ввезти контрабандных товаров на сумму до 200 рублей золотом.