Постановлением ВЦИК 6 февраля 1922 г. ВЧК была реорганизована в Государственное политическое управление (ГПУ) при НКВД РСФСР. ВЦИК наделил ГПУ не только правами дознания и следствия, но и правом применения внесудебных репрессий – высылки и заключения в лагерь. После образования Союза ССР на базе ГПУ 15 ноября 1923 г. возникло Объединенное ГПУ (ОГПУ) при Совнаркоме СССР. Назначения на руководящие должности осуществлялись Политбюро. Председателем ОГПУ остался Ф.Э. Дзержинский, его 1-м заместителем стал В.Р. Менжинский, 2-м – Г.Г. Ягода. 28 марта 1924 г. ЦИК СССР учредил Особое совещание (ОСО) при ОГПУ для осуществления высылок, ссылок и заключения в концлагерь сроком до трех лет. Общий уровень образования чекистов оставался низким – сам Дзержинский среди итоговых оценок за 7 классов гимназии имел «тройки» и две «двойки». В начале 1920-х гг. лишь 1 % чекистов имел высшее образование, а 57 % довольствовались начальным. Средняя зарплата чекистов в 1927 г. равнялась 130–160 руб. После смерти Дзержинского председателем ОГПУ 3 августа 1926 г. был назначен Менжинский, которого из-за болезни часто замещал Ягода.