Курируя от прокуратуры НКВД, позже Рогинский быстро нашел общий язык с заместителем Ежова Фриновским. Он бесстрастно утверждал все обвинительные заключения следственных органов, в том числе и на своих бывших сослуживцев. В их числе оказались: первый Прокурор Союза ССР И. А. Акулов, и. о. прокурора республики Ф. Е. Нюрина и ранее «облагодетельствовавший» самого Рогинского нарком юстиции СССР Крыленко,
Вместе с Фриновским он присутствовал на казни Акулова, и, когда приговоренный, обращаясь к заместителю Ежова, сказал: «Ведь вы же знаете, что я не виноват», —Рогинский «стал осыпать бывшего прокурора бранью». Его карьера прервалась в августе 1939-го, после того как Вышинский перешел в Совнарком СССР, новым Прокурором Союза ССР стал Панкратьев. 5 августа 1939 года Политбюро ЦК ВКП (б) утвердило следующее постановление КПК при ЦК ВКП (б):
Почти месяц Рогинского не тревожили, но затем, по завершении работы специальной комиссии ЦК, осуществлявшей проверку деятельности бывшего зам. Прокурора СССР 5 сентября 1939 года его арестовали. Постановление на арест, которое вынес помощник начальника следственной части НКВД, утвердил нарком внутренних дел Берия, а санкцию дал прокурор Панкратьев.
В постановлении отмечалось, что «имеющимися материалами в НКВД Рогинский Г. К. достаточно изобличается как один из руководящих участников антисоветской правотроцкистской организации, существующей в органах прокуратуры».
Расследование его дела длилось почти два года. Сначала он только категорически отрицал какую-либо вину, а затем начал симулировать «истерические реакции». Они выражались «в плаксивости, боязни ложиться в кровать из-за того», что на него якобы «падают стены и он проваливается в пропасть». Обследовавшие его в начале января 1940 года врачи констатировали, что он «душевной болезнью не страдает и обнаруживает ряд навязчивых ярких представлений неприятного характера,
Следствие продолжилось, и на очной ставке с Рогинским 17 января бывший прокурор Приморской области А. А. Любимов-Гуревич, показал, что Рогинский был активным участником антисоветской троцкистской организации. Рогинский назвал эти показания «ложью и клеветой». Однако уже в тот же день написал письмо на имя Берии: «Настоящим заявляю, что прекращаю сопротивление следствию и стану на путь признания своей заговорщической работы против Советской власти. Подробные показания дам на следующих допросах. Я должен собраться с мыслями и вспомнить все подробности вражеской работы, как своей, так и своих сообщников».
Однако в протоколе очередного допроса от 9 марта 1940 года, с его слов записано: «Участником антисоветской правотроцкистской организации я никогда не был, поэтому виновным себя в предъявленном мне обвинении я не признаю. Я признаю себя виновным лишь в том, что, работая заместителем Прокурора Союза ССР,
И на вопрос следователя: «В чем же конкретно заключалась ваша антисоветская деятельность в Прокуратуре СССР? — подследственный, «ссылаясь на свое нервное расстройство», не дал конкретного ответа. Он продолжал юлить и просил изменить ему «тюремные условия».