13 июня 1934 года, то есть через три дня после создания НКВД СССР, «группа Яши» была напрямую подчинена наркому внутренних дел и преобразована в Специальную группу особого назначения (СГОН). При ней была создана школа разведчиков-нелегалов диверсионного профиля. Многие ее выпускники в годы Великой Отечественной войны стали крупными специалистами по проведению диверсий в тылу противника.
После начала гражданской войны в Испании группа Серебрянского, которому 29 ноября 1935 года было присвоено звание старшего майора госбезопасности, участвовала в нелегальных поставках оружия республиканскому правительству. Так, в сентябре 1936 года сотрудникам спецгруппы при помощи агента «Бернадет» удалось закупить у французской фирмы «Девуатин» 12 новых военных самолетов якобы для некоей нейтральной страны. Самолеты доставили на приграничный с Испанией аэродром, откуда их под предлогом летных испытаний благополучно перегнали в Барселону.
Упоминавшийся выше историк отечественной разведки Эдуард Шарапов в этой связи писал:
«Разразился неслыханный международный скандал. Президента Франции Блюма и военного министра Пернэ обвинили в покровительстве республиканской Испании. А несколько позже, 31 декабря 1936 года, в советской прессе было опубликовано постановление ЦИК Союза ССР «О награждении за особые заслуги в деле борьбы с контрреволюцией тов. Серебрянского Я.И. орденом Ленина».
Одним из объектов разработки группы Серебрянского во второй половине 1930-х годов был сын Троцкого Лев Седов, проходивший в материалах ОГПУ — НКВД под псевдонимом «Сынок».
Седов, полностью разделявший политические взгляды отца, в 1937 году приступил к работе по организации первого съезда IV Интернационала. А в Москве начали подготовку операции по похищению Седова. Ее проведение было поручено Серебрянскому, находившемуся в то время нелегально во Франции. Позже Серебрянский писал: «В 1937 году я получил задание доставить «Сынка» в Москву… Задание было о бесследном исчезновении «Сынка» без шума и доставки его живым в Москву…». В свою очередь, в «Очерках истории российской внешней разведки» относительно этой операции сообщается следующее:
«План похищения Седова был детально разработан и предусматривал его захват на одной из парижских улиц. Предварительно путем наблюдения были установлены время и обычные маршруты передвижения Седова в городе. На месте проводились репетиции захвата.
Предусматривалось два варианта его доставки в Москву. Первый — морем. В середине 1937 года было приобретено небольшое рыболовецкое судно, приписанное к одному из северных портов Франции. На окраине города-порта сняли домик — место временного укрытия, куда поселили супружескую пару сотрудников «группы Яши».
Подобрали экипаж. Только до капитана довели легенду, что, возможно, придется совершить переход в Ленинград с группой товарищей и взять там снаряжение для республиканской Испании.
Капитан изучил маршрут, имел достаточный запас угля, воды, продовольствия. В ожидании команды экипаж судна совершал регулярные выходы в море за рыбой.
Второй вариант — по воздуху. Группа располагала собственным самолетом с базой на одном из аэродромов под Парижем.
Летчик — надежный агент. В авиационных кругах распространили легенду: готовится спортивный перелет по маршруту Париж — Токио. Пилот начал тренировки, доведя беспосадочное время пребывания в воздухе до 12 часов. Расчеты специалистов показывали, что в зависимости от направления и силы ветра самолет мог бы без посадки долететь из Парижа до Киева за 7–8 часов.
В подготовке оперативного мероприятия участвовали 7 сотрудников нелегальной резидентуры Серебрянского. Какая-либо связь с «легальной» парижской резидентурой НКВД отсутствовала. Активная роль в операции отводилась самому Серебрянскому и его жене.
Однако судьба распорядилась по-иному. Похищение Седова так и не состоялось — в феврале 1938 года он умер после операции по удалению аппендицита».
А на родине разведчика вовсю раскручивался маховик репрессий, которые вскоре коснулись и его самого. Летом 1938 года исчез прибывший по делам во Францию резидент НКВД в Испании А. Орлов. Неожиданно вызванный в Москву, он посчитал, что там его ждет арест, и вместе с семьей бежал в США. Бегство Орлова бросило подозрение на руководящие кадры разведки, в том числе и на Серебрянского. Осенью 1938 года он был отозван из Парижа и 10 ноября вместе с женой арестован в Москве прямо у трапа самолета. Ордер на их арест подписал начальник ГУГБ НКВД Л. Берия. До 13 февраля 1939 года Серебрянский содержался под стражей во внутренней тюрьме на Лубянке без санкции прокурора.
21 февраля был уволен из НКВД в связи с арестом.
Историк советской разведки В. Прокофьев в своей книге «Внешняя разведка: боевое содружество» обращает внимание на следующий факт в период нахождения Серебрянского под следствием:
«Характерно, что во время следствия в 1939 году, находясь в жутких условиях, Серебрянский писал «Наставление для резидента по диверсии».