Возвратившись в Москву, Серебрянский возглавил 1-е отделение ИНО ОГПУ (нелегальная разведка) и одновременно стал руководителем Особой группы при председателе ОГПУ, которая в чекистском обиходе неофициально именовалась «группой Яши». Это было не зависимое от руководства ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического значения в США, Западной Европе и Японии, а также подготовка и проведение диверсионных операций в тылу противника на случай войны. Одновременно одной из основных задач нелегального аппарата группы Серебрянского была организация специальных мероприятий за рубежом в отношении наиболее злобных врагов СССР, предателей и изменников Родины.
Особая группа действовала за границей только с нелегальных позиций. Ее сотрудники не использовали в качестве прикрытия официальные советские дипломатические или торговые представительства. Она подчинялась непосредственно председателю ОГПУ Менжинскому, по инициативе которого и была создана.
Летом 1929 года руководство ОГПУ вышло в ЦК с предложением о похищении и вывозе в Советский Союз председателя Русского общевоинского союза (РОВС) генерала Кутепова, активизировавшего диверсионно-террористическую деятельность организации на территории СССР. Это предложение было утверждено Сталиным.
1 марта 1930 года Яков Серебрянский и один из руководителей внешней разведки Сергей Пузицкий выехали нелегально в Париж для руководства этой операцией.
Следует подчеркнуть, что до середины 1960-х годов причастность советских органов государственной безопасности к похищению генерала Кутепова не афишировалась и даже категорически отрицалась. Лишь в 1965 году газета «Красная звезда» — официальный орган Министерства обороны — рассказала об этой операции. А подробности ее проведения были опубликованы в 1997 году в 3-м томе «Очерков истории российской внешней разведки».
25 апреля 1928 года в Париже скончался председатель Русского общевоинского союза генерал Петр Николаевич Врангель. Его преемником на посту председателя РОВС стал генерал-лейтенант Александр Павлович Кутепов.
Кутепов родился 16 сентября 1882 года в Череповце в семье лесничего. После окончания полного курса классической гимназии в Архангельске он поступил в Петербургское юнкерское училище, которое окончил в 1904 году в чине фельдфебеля.
С началом Русско-японской войны Кутепов подал рапорт о направлении в действующую армию, где служил в полковой разведке. За отличия в боях был награжден орденом Святого Владимира с мечами и бантом.
После войны поручик Кутепов являлся командиром учебной роты в Лейб-гвардии Преображенском полку. В годы Первой мировой войны командовал ротой и батальоном преображенцев, был трижды ранен, награжден орденом Святого Георгия. В 1916 году за бои на реке Стоход получил Георгиевское оружие и звание полковника.
После Февральской революции Кутепов стал командиром Преображенского полка, а когда фронт развалился и солдаты разбежались по домам, уехал на Дон и вступил в Добровольческую армию генерала Корнилова. Командовал ротой 1-го офицерского полка, а затем — Корниловским полком. В январе 1919 года — командир 1-го армейского корпуса. За победу над частями Красной Армии под Харьковом был произведен в генерал-лейтенанты.
Оказавшись в эмиграции, Кутепов продолжил вооруженную борьбу против большевиков. В начале 1924 года он возглавил боевую организацию РОВС, засылавшую террористов и диверсантов на территорию Советского Союза. В мае 1927 года боевики Кутепова попытались взорвать дом в Москве, в котором проживали сотрудники ОГПУ, в июне 1927 года был организован взрыв Дома политпросвещения в Ленинграде, в июле 1928 года была брошена бомба в бюро пропусков ОГПУ в Москве.
С целью снижения диверсионной активности РОВС руководство ИНО ОГПУ приняло решите организовать с ним оперативные игры от имени легендированной организации. Одна из таких — «Северо-Кавказская военная организация» (СКВО) была успешно подставлена представителям РОВС в Румынии генералам Штейфону и Геруа. Данное оперативное мероприятие позволило вскрыть каналы переброски в Советскую Россию боевиков, выявить их связи с подпольными организациями на Северном Кавказе, Кубани и в Донской области. Чекистам также удалось вывести за границу и внедрить свою агентуру в филиалы РОВС в Румынии, Югославии и Болгарии.
Одновременно проводилась оперативная игра непосредственно со штаб-квартирой РОВС от имени так называемой «Внутренней русской национальной организации» (ВРНО), созданной ОГПУ с привлечением в нее бывших царских офицеров.
На первом этапе ВРНО наладила контакты с редактором журнала «Борьба за Россию» С.П. Мельгуновым, который поддерживал тесные связи с начальником канцелярии генерала Кутепова князем Сергеем Трубецким.