Это было независимое от руководства ИНО разведывательное подразделение, насчитывавшее на начальном этапе своей деятельности всего с десяток человек и предназначенное для выполнения специальных операций стратегического характера. Одной из его задач являлось глубокое агентурное внедрение на объекты военно-стратегического значения в США, Западной Европе, на Ближнем Востоке, в Китае и Японии, а также подготовка и проведение диверсионных операций на них в случае войны. Одновременно перед сотрудниками нелегального аппарата Особой группы стояла задача по организации специальных мероприятий за рубежом в отношении наиболее злобных врагов СССР, предателей и изменников родины.
С целью конспирации создание Особой группы приказом по ОГПУ не оформлялось. По сути, она была нелегальной даже внутри органов государственной безопасности.
Особая группа действовала за границей только с нелегальных позиций и подчинялась непосредственно председателю ОГПУ, который лично руководил её работой. Сотрудники Особой группы не использовали в качестве прикрытия официальные советские дипломатические или торговые представительства.
Уже к середине 1929 года центральный аппарат Особой группы состоял из двух десятков сотрудников. Все остальные работали за рубежом в качестве нелегалов. Этим, в частности, Особая группа отличалась от Иностранного отдела, который решал разведывательные задачи как с легальных, так и с нелегальных позиций. А руководство ОГПУ могло по своему усмотрению использовать силы и средства ИНО и Особой группы для осуществления специальных операций.
Одним из первых оперативных сотрудников Особой группы стал будущий руководитель специальных операций советской внешней разведки за границей Сергей Михайлович Шпигельглаз. Назначенный в сентябре 1926 года помощником начальника ИНО ОГПУ, он был включён Менжинским в Особую группу и неоднократно выезжал за рубеж для выполнения важных оперативных заданий.
В числе первых сотрудников Особой группы был и Наум Исаакович Эйтингон – в дальнейшем видный советский разведчик и один из руководителей специальных операций внешней разведки НКВД в период Великой Отечественной войны.
С начала 1927 года членом Особой группы стал и Яков Серебрянский. В том же году привлечённые им к сотрудничеству с советской разведкой в Палестине Ананьев, Волков, Рачковский, Захаров и Турыжников были выведены в Советский Союз, по решению компетентных органов получили советское гражданство, были приняты на службу в органы государственной безопасности и приступили к активной работе в Особой группе.
Вот таким особо секретным подразделением органов государственной безопасности нашей страны Яков Серебрянский стал руководить с 1 апреля 1929 года. С этого же времени Особая группа в чекистских кругах стала неофициально именоваться «группой Яши».
Уже находясь в Москве и возглавив Особую группу, Серебрянский продолжал привлекать в неё наиболее талантливых сотрудников, проявивших себя на нелегальной работе в рамках спецслужб Коминтерна или ИНО ОГПУ. Тогда же он привлёк к сотрудничеству Вильяма Генриховича Фишера, более известного как Рудольф Иванович Абель, Александра Михайловича Орлова (он же – Лев Лазаревич Никольский, он же – Лейба Лазаревич Фельдбин), выдающегося советского разведчика-нелегала Арнольда Генриховича Дейча, известного также как Стефан Григорьевич Ланг, видного советского разведчика Константина Кукина, руководившего спецмероприятиями против японской разведки в Забайкалье.
Обратим внимание читателя ещё на ряд причин, вынудивших Менжинского активизировать создание Особой группы в ОГПУ.
По мнению историков отечественных спецслужб И. Линдера и С. Чуркина, «ускоренное и в высшей степени секретное формирование Особой группы было напрямую связано с англо-советским конфликтом 1927 года». Автор полностью разделяет мнение историков по данному вопросу. Однако при этом необходимо учитывать и общую обстановку, сложившуюся в конце 1920-х годов вокруг советских дипломатических представительств и учреждений за рубежом.
Так, в 1926–1927 годах произошло несколько провокаций против советских учреждений за границей. Эти провокации, сопровождавшиеся захватом полицией секретных документов, были организованы местными спецслужбами в Лондоне, Пекине и Праге.
6 апреля 1927 года произошёл налёт полиции и солдат Чжан Цзолиня, генералиссимуса сухопутных и морских сил Китайской Республики и фактического президента страны, на полпредство СССР в Пекине. Вторжение на территорию дипломатического квартала, где располагалось полпредство СССР, могло произойти только с разрешения посла Великобритании, являвшегося главой дипломатического корпуса в Китае. Это серьезно осложнило не только китайско-советские, но и британско-советские отношения.