Я. Серебрянский возглавил 3-е отделение 2-го отдела НКВД и одновременно особо засекреченную Группу «Я». Он лично курировал вербовку агентуры для глубинного оседания в странах Западной Европы, а также отвечал за перепроверку разведывательной информации.
В составе спецгруппы Серебрянского состояли Герой Советского Союза И.И. Кузнецов и Герой Росии Ю.А. Колесников. Последний вспоминал:
«Что представляла из себя Группа “Я”? О многом до сих пор сказать не могу. В кодексе Группы, который, кстати, никто не отменял, было записано, что нигде, никогда, ни при каких обстоятельствах я не буду ни писать, ни рассказывать… Если же я нарушу мою клятву, пусть меня настигнет суровая кара. Для членов Группы не было понятия “не могу” или “невозможно”. Любое задание командования должно быть выполнено в срок».
18 января 1942 года Берия подписал приказ № 00145, гласивший:
«Для проведения специальных операций в тылу противника, а также организации и осуществления мероприятий по выводу из строя и уничтожению промышленных предприятий и других важных сооружений на территории, занятой противником, приказываю:
1. Создать IV Управление НКВД СССР.
2. Расформировать 2-й отдел НКВД СССР, обратив его штабы и личный состав на укомплектование IV Управления НКВД СССР.
3. Передать в IV Управление Д 9-е отделение 4-го спецотдела со всем личным составом и техническим оборудованием.
Начальником IV Управления С стал майор госбезопасности Павел Анатольевич Судоплатов.
Войсковые подразделения IV Управления:
Отдельная рота сапёров;
Отдельная мотострелковая бригада особого назначения – ОМСБОН.
Я.И. Серебрянский прошёл всю войну, участвовал в организации многих разведывательных операций за линией фронта, в радиоиграх “Березино” и “Монастырь” и др.».
Рассказывает П.А. Судоплатов.
«Операцию “Березино” (1944 г.) разработал начальник 3-го отдела IV Управления полковник Маклярский, я поддержал идею операции.
Планировалась заманчивая радиоигра с германским Верховным командованием. О её замысле во исполнение Указания Ставки было доложено Сталину, Молотову, Берии. Санкция на проведение операции была получена. Для руководства операцией в Белоруссию выехали Эйтингон, Маклярский, Фишер (Абель), Серебрянский, Мордвинов».
6 ноября 1943 года Яков Исаакович был переведён в особый резерв IV управления на должность руководителя группы на правах начальника отделения. Он подготовил и перебросил в тыл врага несколько оперативных групп и агентов-одиночек, которые успешно справились с поставленными задачами.
Яков Исаакович щедро делился опытом разведработы с молодыми коллегами, в том числе с Н.И. Кузнецовым. А некоторые начатые им тогда операции ещё долгое время будут храниться под грифом «Сов. секретно».
После окончания войны казалось, что теперь наступят новые, более светлые времена! Но Я. Серебрянского ждали суровые испытания…
15 марта 1946 года наркоматы были реорганизованы в министерства. Было создано МГБ СССР.
В 1920–1930 годах Серебрянский создал агентурную сеть в сионистском движении на Ближнем Востоке. Но в 1938 году с арестом большинства оперативного состава «Группы Яши» агентурные позиции советской разведки в Палестине были свёрнуты. Кое-что Якову Исааковичу удалось восстановить во время войны через Еврейский антифашистский комитет, и вскоре старые контакты оказались востребованы.
В это время заместители министра иностранных дел А.Я. Вышинский и В.Г. Деканозов направили в правительство докладную. В ней говорилось, что создание еврейского государства в Палестине может произойти без участия СССР. Это было крайне нежелательно для Советского Союза.
Четвёртому управлению MГБ было дано указание забросить в Палестину через Румынию разведчиков, имеющих боевой опыт. Серебрянский начал разрабатывать план операции, но в дело вновь вмешался его величество случай.
4 мая 1946 года был снят с должности министр госбезопасности В.Н. Меркулов. На его место Сталин назначил бывшего начальника военной контрразведки СМЕРШ (смерть шпионам) В.С. Абакумова. Именно он в предвоенные годы вёл уголовное дело Я.И. Серебрянского, применяя к нему меры «физического воздействия», а попросту говоря, избивая. Забегая вперёд, следует заметить, что Абакумов лично на себе испытает все то, что испытывали его подследственные. Его арестовали в 1951 году, и на протяжении трёх лет он будет подвергаться изощрённым издевательствам. Итог предсказуем – пуля. Такова была жестокая реальность того времени…
Вспоминает П.А. Судоплатов:
«Через неделю Эйтингона и меня вызвали к Абакумову.
“Около двух лет назад, – начал он, – я принял решение никогда не работать с вами. Но тов. Сталин, когда я предложил освободить вас от исполнения обязанностей, сказал, что вы должны продолжать работать в прежних должностях. Так что, – давайте срабатываться”.
Через несколько дней нас вызвали на заседание специальной комиссии ЦК КПСС, на котором председательствовал куратор органов госбезопасности, секретарь ЦК А. Кузнецов.