Приступив к чистке аппарата НКВД, Ежов черпал верные ему профессиональные кадры из рядов «региональной чекистской элиты», находившейся в определенном противостоянии центральному аппарату ОГПУ — НКВД и кровно заинтересованной в отстранении от власти прежнего руководства. Об этом на суде заявил и сам Ежов: «Кругом меня были враги народа, мои враги. Везде я чистил чекистов. Не чистил их только лишь в Москве, Ленинграде и на Северном Кавказе. Я считал их честными…»[8]
Анализ документов центральных и местных архивов ФСБ, МВД, ФПС России подтверждает существование таких «неформальных» чекистских групп, сложившихся в конце 20 — начале 30-х гг. в периферийных (республиканских, краевых) органах ОГПУ — НКВД[9]. Самой многочисленной и сплоченной из них была т. н. «северокавказская группа» Е. Г. Евдокимова — Μ. П. Фриновского[10]. Ее ядро обозначилось в 1919–1920 годах в среде ближайших сотрудников Евдокимова в Особом отделе Московской ЧК и Особых отделов Южного и ЮгоЗападного фронтов — Μ. П. Фриновского, Л. М. Заковско-го, Э. Я. Грундмана, Ф. Т. Фомина. В бытность Евдокимова полпредом ГПУ по Правобережной Украине, «ядро» пополнилось за счет местных чекистов — Н. Г. Николаева-Жу-рида, В. М. Курского, Я. М. Вейнштока, М. С. Алехина, А. М. Минаева-Цикановского, А. Г. Абуляна.
«Северокавказская группа» окончательно сформировалась в 1923–1933 гг. в период работы Евдокимова полномочным представителем ОГПУ по Северо-Кавказскому округу. Здесь в состав «группы» были рекрутированы вошедшие в «орбиту влияния» Евдокимова И. Я. Дагин, П. Г. Рудь, Я. А. Дейч, С. Н. Миронов-Король, И. П. Попашенко, А. И. Михельсон, М. А. Листенгурт, Р. А. Листенгурт, В. В. Хворостян, К. А. Павлов, И. Я. Лаврушин, Г. Ф. Горбач, Π. Ф. Булах и другие.
В 1929 году после фальсификации Евдокимовым «шах-тинского дела» Сталин ввел его в руководство ОГПУ Союза в качестве «противовеса» Ягоде и Менжинскому. Лишь в 1931 году тем удалось удалить Евдокимова в Среднюю Азию, а затем обратно на Северный Кавказ.
В 1934 г. Евдокимов перешел на партийную работу — секретарем Северо-Кавказского (Орджоникидзевского) крайкома, а на XVII съезде партии был избран членом ЦК ВКП(б). Негласное «лидерство» в «северо-кавказской группе» чекистов перешло к его ближайшему соратнику — Μ. П. Фриновско-му, ставшему к тому времени начальником Главного управления пограничной и внутренней охраны НКВД Союза.
Столь же многочисленной была «украинская группа» чекистов, оформившаяся в период 1923–1933 годов в аппарате ГПУ — НКВД Украины вокруг председателя ГПУ УССР и полпреда ОГПУ по Украине (затем наркома НКВД УССР) В. А. Балицкого[11].
В нее вошли такие видные украинские чекисты, как К. М. Карлсон, С. С. Мазо, И. М. Блат, М. К. Александровский, Б. В. Козельский, Я. В. Письменный, Г. С. Люш-ков, А. Б. Розанов, В. М. Горожанин и другие.
В 1931 году, после судебного процесса по «делу» «Союза визволення Украины», Балицкий был назначен третьим зампредом ОГПУ Союза, и часть его украинских чекистов попала на работу в центральный аппарат ОГПУ. В 1933 году Ягоде удалось вытеснить Балицкого и его людей обратно на Украину, после чего в «группе» произошел раскол между Балицким и его заместителем Леплевским. «Ренегат» Леплевский и его личные приверженцы (Д. И. Джирин, Э. А. Инсаров-Поляк, В. П. Карелин, 3. М. Ушаков-Кшимирский) были удалены из органов ГПУ Украины[12].
На XVII съезде ВКП(б) Балицкий, пользовавшийся поддержкой 2-го секретаря ЦК КП(б)У Π. П. Постышева, был избран членом ЦК ВКП(б).
Во главе так называемой «сибирско-белорусской» (или «ленинградской») «группы» чекистов стоял Л. М. Заковский (Г. Э. Штубис)[13]. Он начинал свою служебную карьеру вместе с Евдокимовым в Москве и на Правобережной Украине, но вместо Северного Кавказа в 1926 году был направлен полпредом ОГПУ по Сибирскому краю. С 1923 года был председателем ГПУ Белоруссии, а в декабре 1934 года стал начальником УНКВД по Ленинградской области. Среди наиболее заметных фигур его аппарата, сформировавшегося в Сибири и Белоруссии, были А. К. Залпетер, Г. А. Лупекин, М. А. Волков-Вайнер, В Н. Гарин, К. Я. Тенисон, Η. Е. Шапиро-Дайховский. За годы работы Заковского в Ленинграде в круг его доверенных работников-чекистов вошли С. Г. Жупахин, В. Ф. Рогов, П. А. Коркин, П. В. Карамышев, Я. Е. Пе-рельмутр, С. Ф. Монаков, К. Е. Денисов и другие.
«Московская группа» чекистов сложилась относительно поздно, в 1933–1936 годах в руководимом С. Ф. Реденсом УНКВД по Московской области[14]. Начав свою службу в ВЧК личным секретарем Ф. Э. Дзержинского, Реденс в 1924–1928 годах (когда Ягода вел «дележ власти» в ОГПУ) служил в ВСНХ в аппарате Наркомата РКП. Назначенный полпредом ОГПУ по Закавказью, в 1931 году он был там чужаком, и вскоре его вытеснил кавказец Л. П. Берия.