Но и после этого интенсивные допросы Серебрянского (теперь уже у следователей Генпрокуратуры СССР) продолжались. Меры физического воздействия к Якову Исааковичу не применялись, однако постоянно оказывали на него психологическое давление с целью получения нужных признательных показаний. Сердце много повидавшего и пережившего разведчика-нелегала не выдержало: 30 марта 1956 года в Бутырской тюрьме на очередном допросе у следователя Военной прокуратуры генерал-майора Цареградского Яков Исаакович скончался от сердечного приступа на 64-м году жизни. Точное место его захоронения до настоящего времени неизвестно.
Борьба за реабилитацию Якова Исааковича и Полины Натановны Серебрянских была невероятно тяжелой.
Только 4 августа 1966 года Военной коллегией Верховного Суда Союза ССР, в составе председательствующего генерал-майора юстиции Терехова, полковника юстиции Курбатова и подполковника юстиции Смирнова в порядке статей 337 и 388 УПК РСФСР уголовное дело по обвинению П.Н. Серебрянской было пересмотрено.
«Рассмотрев материалы дела и дополнительного расследования, Военная коллегия Верховного Суда СССР, соглашаясь с заключением и руководствуясь ст. 50 Основ уголовного судопроизводства Союза ССР и союзных республик,
ОПРЕДЕЛИЛА:
Приговор Военной коллегии Верховного Суда СССР от 7 июля 1941 года в отношении Серебрянской Полины Натановны по вновь открывшимся обстоятельствам отменить и дело прекратить за недоказанностью её участия в совершении преступления».
Получив 8 августа 1966 года справку о реабилитации, Полина Натановна с неиссякаемой энергией повела борьбу за восстановление честного имени своего мужа.
Из воспоминаний Анатолия Яковлевича Серебрянского: «Август 1966 года. Маму приглашают в ГШ на Кировскую, чтобы выдать справку о реабилитации. Майор административной службы ГШ Юрьева говорит: “Мы подготовили справки не только для вас, но и для Якова Исааковича. В последний момент Руденко не разрешил”». До реабилитации отца оставались ещё долгие пять лет. 12 ноября 1968 года Полина Натановна получила из Главной военной прокуратуры ответ за № 4в-23053—39, подписанный старшим помощником главного военного прокурора полковником юстиции Н. Зарубиным: «Ваша жалоба от 28 октября 1968 года по делу Серебрянского Якова Исааковича, адресованная в Главную военную прокуратуру, рассмотрена и оставлена без удовлетворения. Оснований для реабилитации Серебрянского Я.И. не имеется».
Следует заметить, что ни руководство разведки, ни иные компетентные органы в течение полутора десятков лет не предпринимали мер по реабилитации Я.И. Серебрянского. Разыскать рабочее дело Серебрянского и установить, какую пользу он принёс советской разведке, не представлялось возможным. Однако затем ситуация изменилась.
В марте 1971 года Полина Серебрянская направила жалобу в адрес XXIV съезда КПСС. Примерно в то же время в КГБ при СМ СССР шла подготовка первого учебника по истории советской внешней разведки. Председатель КГБ при СМ СССР Ю.В. Андропов, узнав о героической и вместе с тем трагической судьбе Я.И. Серебрянского, распорядился провести серьёзное дополнительное расследование. Проверку проводил Д. Бобков, и он представил Юрию Владимировичу положительный отзыв. Слово Андропова, в то время кандидата в члены Политбюро ЦК КПСС, имело большой вес. И уже 12 апреля 1971 года Полина Серебрянская получила ответ из Верховного Суда СССР за подписью заместителя председателя С. Банникова (№ 4в-02854/55):
«Сообщаю, что ваша жалоба от 3 марта 1971 года, адресованная XXIV съезду КПСС, передана для рассмотрения в Верховный Суд СССР, откуда она вместе с уголовными делами в отношении Вашего мужа Серебрянского Я.И., возбуждавшимися в 1938 и 1953 гт., направлена для дополнительной проверки Генеральному Прокурору СССР с просьбой сообщить о результатах Вам».
3 мая 1971 года Главной военной прокуратурой дело в отношении Я.И. Серебрянского, возбуждённое 7 октября 1953 года, было прекращено на основании п. 2 ст. 208 УПК РСФСР, то есть за недоказанностью участия обвиняемого в совершении преступления (справка ГВП № С-52600 38 от 5 мая 1971 года). Надо полагать, что в этом заслуга, прежде всего, Андропова Ю.В.
В архивах соответствующих советских органов не обнаружено материалов, свидетельствующих о принадлежности Серебрянского Я.И. к агентуре иностранных разведок и, в частности, о его связях с английской и французской разведками.
«Таким образом, — говорится в заключении, — дополнительным расследованием по делу Серебрянского установлены новые, ранее не известные суду обстоятельства, свидетельствующие о том, что Серебрянский осуждён без достаточных к тому оснований.
Рассмотрев материалы дела и соглашаясь с доводами, приведёнными в заключении, Военная коллегия Верховного Суда СССР руководствуясь ст. 50 Основ уголовного судопроизводства Союза ССР и союзных республик,
ОПРЕДЕЛИЛА:
Приговор Военной коллегии Верховного Суда СССР от 7 июля 1941 года в отношении Серебрянского Якова Исааковича по вновь открывшимся обстоятельствам отменить и дело о нем за недоказанностью обвинения производством прекратить».