Деятельность нелегальных резидентур резко ухудшилась. Многие агентурные сети так и не были восстановлены. Показательно, что в 1938 году из разведки НКВД в адрес руководства страны в течение 127 дней вообще не поступала никакая информация.
В начале ноября 1938 года к временному исполнению должности начальника разведки НКВД приступил П.А. Судоплатов.
«В то время, о котором я веду речь, – вспоминал П.А. Судоплатов, – число нелегалов составляло около 60 человек. Вскоре мне стало ясно, что руководство НКВД могло по своему выбору использовать силы и средства Иностранного отдела и Особой группы для проведения особо важных операций, в том числе диверсий и ликвидации противников СССР за рубежом.
Особая группа среди сотрудников разведки иногда именовалась как “Группа Яши”, потому что более десяти с лишним лет её возглавлял Яков Серебрянский. Это его люди осуществили в 1930 году похищение главы белогвардейского РОВС в Париже генерала Кутепова. “Группа Яши” создала мощную агентурную сеть в 1920–1930 гг. во Франции, Германии, Палестине, США и Скандинавии».
Однако заметим, что 23 ноября 1938 года над головой П.А. Судоплатова сгустились тучи политического недоверия. Именно в этот день состоялось заседание партийного комитета 5-го партколлектива ГУГБ, на котором слушалось его персональное дело. 2 декабря Судоплатов был отстранен от исполнения обязанностей начальника отдела, но не арестован и продолжал ходить на службу, ежедневно ожидая ареста. Начальником 5-го отдела ГУГБ НКВД стал В.Г. Деканозов.
13 июня 1938 года из Испании исчез один из ближайших помощников Серебрянского, главный резидент НКВД в Испании А.М. Орлов (он же Фельдбин Л.Л.). Шифротелеграммой из Центра ему предписывалось в сопровождении генконсула прибыть в г. Антверпен на советский пароход для встречи с представителем Центра. Орлов сразу понял, что это ловушка, в Москве его ожидает арест и ВМН. Орлов предпочёл бежать с семьёй в СШA. Отдельные сотрудники спецслужб и до него пытались укрыться от смерти в разных странах мира. Но вели они себя там по-разному. В отличие от перебежчиков Агабекова, Рейса, Кривицкого, Люшкова, Орлов не выдал спецслужбам СШA важных сведений о деятельности советской разведки. А известно ему было ох как много. Он лично знал А. Дейча, В. Фишера, К. Филби, И. Григулевича, работавшего в Латинской Америке в годы войны, и многих других советских разведчиков, в том числе и разведчиков-нелегалов.
Бегство Орлова дало повод Ежову заподозрить в измене оперативный состав «Группы Яши». 10 ноября 1938 года был выдан ордер на арест Серебрянского Я.И. и производство обыска в его квартире. Одновременно с Яковом была арестована и его жена Полина Натановна.
В тот же день на Лубянку доставили А.И. и В.Я. Сыркиных. В течение ноября и декабря 1938 года под следствием оказались и И.Н. Каминский, Г.Н. Косенко, А.Н. Турыжников, Ю.И. Волков, Р.Л. Эске (Рачковский). Т.С. Малли был расстрелян 7 марта 1938 года, С.М. Перевозников позднее – 2 сентября 1939 года.
Ознакомившись с деятельностью спецгруппы ГУГВ и её руководителя, Берия, как и Ежов, усомнился в преданности Я. Серебрянского. Особое сомнение вызвал пресловутый «еврейский вопрос». Из числа более чем двухсот агентов СГОН значительную часть составляли евреи (что и понятно: после прихода в Германии к власти нацистов евреи активно сотрудничали е советскими спецслужбами).
Следствие по делу Серебрянского было поручено Абакумову B.C. Первый раз Яков Исаакович был допрошен 13 ноября 1938 года, однако нужных признательных показаний от него добиться не смогли. На протоколе допроса имеется резолюция Берии: «Тов. Абакумову. Хорошенько допросить!» После этого к Серебрянскому стали применять «интенсивные методы» дознания. Как позднее рассказывай сам Серебрянский, 16 ноября 1938 года на допросе у Абакумова с участием начальника 2-го отдела ГУГБ Б. Кобулова и наркома Берии его жестоко избили, и, спасая жизнь, он вынужден был дать ложные показания о своей «антисоветской деятельности».
На допросе Яков Исаакович назвал вымышленные фамилии – это позволяло тянуть время и не бросать тень подозрения на своих коллег по цеху. 21 января 1939 года Серебрянского перевели в Лефортовскую тюрьму и до 13 февраля 1939 года, т. е. более 3-х месяцев после ареста, он содержался под стражей без санкции прокурора. А 21 февраля 1939 года Серебрянский был уволен из органов НКВД «по факту ареста».
Полина Серебрянская впервые была допрошена 28 февраля 1939 года. Её обвиняли в недонесении на собственного мужа.
Тем временем в сообщении ТАСС от 27 января 1939 года говорилось: «25 января пограничники Грузинской ССР в перестрелке уничтожили трёх боевиков. Они пытались перейти границу с целью совершить покушение на И.В. Сталина, находящегося в Сочи на отдыхе. Однако пограничники заранее получили информацию о преступном плане и уничтожили нарушителей границы».