После образования НКВД Серебрянский 13 июля 1934 г. был утвержден начальником Специальной группы особого назначения (СГОН) при НКВД СССР и по поручению Ягоды принимал участие в создании токсикологической лаборатории НКВД. В 1935–1936 гг. он находился в спецкомандировке в Китае и Японии.
В 1936 г. он стал начальником Спецгруппы Секретариата НКВД СССР.
Когда в июле 1936 г. в Испании началась гражданская война, руководство СССР поддержало республиканцев и приняло решение о поставках в Мадрид оружия. Причем часть оружия нелегально закупалась в Европе. Занимались этим практически все резидентуры ИНО НКВД и ГРУ, в том числе и «Группа Яши». 31 декабря 1936 г. Серебрянский был награжден орденом Ленина.
Другим объектом внимания «группы Яши» в этот период были троцкисты и, в частности, сын Льва Троцкого Лев Седов, проходивший в оперативной переписке под псевдонимом «Сынок». В Москве начали разработку операции по похищению Седова, проведение которой было поручено Серебрянскому.
Однако похищение Седова так и не состоялось – в феврале 1938 г. он умер после операции по удалению аппендицита. Правда, сама смерть Седова до сих пор вызывает немало вопросов.
Нельзя полностью отрицать возможность отравления Седова сотрудниками или агентами «группы Яши».
В 1938 г. над головой Серебрянского стали собираться тучи. 13 июля 1938 г. из Парижа исчез резидент ИНО в Испании Орлов. Неожиданно вызванный в СССР, он посчитал, что в Москве его ожидает расстрел, и вместе с семьей бежал в США. Бегство Орлова бросило подозрение на руководящие кадры разведки, в том числе и на Серебрянского. Осенью 1938 г. он был отозван из Франции и 10 ноября вместе с женой арестован в Москве прямо y трапа самолета. Ордер на их арест подписал новый начальник ГУ ГБ НКВД Л. Берия.
На допросе 16 ноября 1938 г., в котором участвовали Берия, Кобулов и Абакумов, как заявил позднее Серебрянский, он был избит и вынужден дать не соответствующие действительности показания о своей преступной деятельности.
7 июля 1941 г. Военная коллегия Верховного суда приговорила Серебрянского Я.И. к расстрелу с конфискацией имущества, а его жену – к 10 годам лагерей за недоносительство о враждебной деятельности мужа.
Но приговор, вынесенный Серебрянскому, не был приведен в исполнение. Шла Великая Отечественная война, и разведке катастрофически не хватало опытных сотрудников. Поэтому 9 августа 1941 г. по ходатайству начальника 2-го отдела НКГБ Судоплатова и благодаря вмешательству Берии Серебрянский решением ПВС СССР был амнистирован.
В рядах 4-го управления НКВД/НКГБ Серебрянский прошел всю войну, лично участвуя во многих разведывательных операциях. Как пример можно назвать вербовку взятого в плен немецкого адмирала Редера. 19 июня 1945 г. Серебрянскому было присвоено звание полковник.
После войны, в 1946 г. министром Госбезопасности был назначен Абакумов, который в свое время вел дело Серебрянского. Почти сразу же после своего назначения он обвинил Судоплатова в том, что тот «вызволил своих дружков из тюрьмы в 1941 году и помог им избежать заслуженного наказания». В результате Судоплатову ничего не оставалось делать, как предложить Серебрянскому и еще некоторым своим сотрудникам, подвергшимся арестам в конце 30-х гг., подать в отставку.
После смерти Сталина Серебрянский по просьбе Судоплатова в мае 1953 г. снова вернулся в разведку, а 8 октября его вместе с женой вновь арестовали. На этот раз по обвинению в участии в так называемом бериевском заговоре с целью государственного переворота. Однако никаких доказательств вины Серебрянского у следствия не было. В 1955 г. жену Серебрянского освободили, но сам он оставался в тюрьме, хотя и перенес несколько инфарктов. 30 марта 1956 г. на допросе у следователя военной прокуратуры генерал-майора Цареградского Серебрянский неожиданно умер от сердечного приступа.
31 ноября 1989 г. решением президиума КРК МГК КПСС его посмертно восстановили в партии, а 22 апреля 1996 г. указом Президента РФ – в правах на изъятые при аресте награды.
Был ли генерал Власов советником Чан Кайши?