Рассматривая данную ситуацию, историк отечественных спецслужб Олег Капчинский писал: «Но и освобождать Серебрянского, как “слишком много знающего”, не собирались. И тогда сделан был еще более подлый шаг: реанимировали дело 1938 года. 27 декабря 1954 года было отменено решение об амнистии от 9 августа 1941 года. И это несмотря на очевидную абсурдность обвинения Серебрянского в шпионаже и на то, что после освобождения из тюрьмы в 1941 году он всей своей деятельностью в годы военного лихолетья еще раз доказал, что является патриотом своей страны».
Кстати, отметим, что именно в конце 1954 года началась реабилитация некоторых советских граждан, незаконно репрессированных в 1930-е годы. Видимо, поэтому старое дело Серебрянского было поднято из архива и направлено в Верховный суд СССР с предложением заменить ему высшую меру наказания на 25 лет лишения свободы с отбыванием срока в исправительно-трудовом лагере. Однако решение по данному вопросу так и не было принято.
Следствие растянулось на годы. Интенсивные допросы разведчика следователями Военной прокуратуры СССР продолжались. Правда, меры физического воздействия к Серебрянскому не применялись, однако на него оказывалось постоянное психологическое давление, цель которого — получить нужные признательные показания. Всего этого сердце даже много повидавшего на своем жизненном пути разведчика-нелегала не выдержало.
30 марта 1956 года в Бутырской тюрьме в ходе очередного допроса у следователя Военной прокуратуры Яков Исаакович Серебрянский скончался на шестьдесят четвертом году жизни от сердечного приступа. Тело родственникам не выдали, его кремировали. О месте захоронения праха не сообщили, оно до сих пор точно неизвестно.
«В 1956 году на мое имя пришел вызов из Военной коллегии Верховного суда СССР. Приезжаю. Меня проводили в большой кабинет. За столом сидел какой-то важный чин, который сухо и обыденно сообщил мне о смерти отца. И сразу же неожиданно задал мне вопрос:
— А вы знаете, что ваш отец был эсером?
— Знаю, — автоматически ответил я.
Далее последовала немая пауза. Я вышел из кабинета».
А Полина Натановна Серебрянская продолжала все это время находиться в тюрьме. Периодически ее вызывали на допросы, пытаясь доказать, что она являлась соучастницей контрреволюционной деятельности своего мужа.
Наконец в середине 1956 года Серебрянскую просто выпустили из-под ареста «на волю», но не реабилитировали. Естественно, как и было положено в то время по отношению к «политическим» заключенным, проживать в Москве ей запретили. Полина Натановна поселилась в небольшом городке Щёкино Тульской области, что в 200 километрах от столицы, у племянника — сотрудника местного военкомата.
Началась долгая и тяжелая борьба за свою реабилитацию и за посмертную реабилитацию мужа. Полина Натановна писала жалобы, просьбы, обращения в различные инстанции. Ничего не помогало.
Дело сдвинулось с мертвой точки только через десять лет.
4 августа 1966 года Военная коллегия Верховного суда Союза ССР в составе председательствующего генерал-майора юстиции Терехова, полковника юстиции Курбатова и подполковника юстиции Смирнова пересмотрела дело по обвинению П. Н. Серебрянской.
Члены Военной коллегии приняли решение «приговор от 7 июля 1941 года в отношении Серебрянской П. Н. отменить и дело прекратить за недоказанностью ее участия в совершении преступления».
8 августа 1966 года в Главной военной прокуратуре Серебрянской была выдана справка Военной коллегии о ее полной реабилитации. Вручая справку, сотрудница прокуратуры рассказала, что они подготовили аналогичную справку и на Якова Исааковича, однако «в последний момент Руденко не разрешил».
Полина Натановна вернулась в Москву, получила комнату, оформила пенсию и с новой силой продолжила борьбу за восстановление честного имени своего мужа. На многочисленные письма Серебрянской, как правило, приходил стандартный ответ: «Оснований для реабилитации не имеется».
Помог случай.
В марте 1971 года Серебрянская направила жалобу в адрес XXIV съезда КПСС. Примерно в то же время в Комитете государственной безопасности началась подготовка первого учебника по истории отечественной внешней разведки. Лично курировавший эту работу председатель КГБ СССР Ю. В. Андропов узнал о героической и вместе с тем трагической судьбе Якова Серебрянского и распорядился провести по делу разведчика тщательное расследование. Его указание было выполнено.
Не исключено, что Андропов, в то время кандидат в члены Политбюро ЦК КПСС и уже тогда имевший большое влияние, был также ознакомлен и с жалобой Полины Натановны в адрес съезда.