В Прокуратуре Союза ССР Рогинский занял должность старшего помощника прокурора, с "отнесением к его ведению отдела общего надзора за законностью", в марте следующего года он стал уже заведующим сектором по делам промышленности, а в апреле 1935 года постановлением ЦИК СССР утвержден в должности второго заместителя Прокурора Союза ССР Он был легок на подъем и часто выезжал в командировки в различные регионы Союза: Дальневосточный край, Закавказье, Украину, Свердловск, Ростов-на-Дону и другие. В качестве заместителя Прокурора Союза ССР он курировал первое время уголовносудебный отдел и Главную военную прокуратуру. После увольнения Ф. Е. Нюриной из прокуратуры республики в августе 1937 года Г. К. Рогинский некоторое время исполнял обязанности Прокурора РСФСР. Он являлся депутатом Верховного Совета РСФСР, был награжден орденом Ленина.
Рогинский был непосредственно причастен к гибели многих людей, чьи обвинительные заключения он так бесстрастно утверждал. Среди них немало прокурорских работников, в том числе первый Прокурор Союза ССР И. А. Акулов, и. о. прокурора республики Ф. Е. Нюрина, прокурор республики, нарком юстиции РСФСР и СССР Н. В. Крыленко — бывший благодетель Рогинского и прочие. Современники вспоминают, что, направляя в суд дела в отношении бывших соратников, Г. К. Рогинский, неуверенный и в собственной безопасности, был "неспокоен за себя и делал все возможное, чтобы заручиться поддержкой и доверием со стороны работников НКВД". Например, Рогинский присутствовал на казни И. А. Акулова вместе с заместителем наркома внутренних дел Фриновским. Когда Акулов сказал: "Ведь вы же знаете, что я не виноват", Рогинский стал осыпать бывшего Прокурора Союза ССР бранью. Позже он признавался, что далеко не убежден в действительной виновности Акулова.
У Рогинского были веские основания опасаться за свою судьбу — Вышинский мог сдать его органам НКВД в любое время, что он и сделал 25 мая 1939 года, направив лично начальнику следственной части НКВД СССР Кобулову строго секретное письмо.
Там сообщалось, что в уголовном деле бывших судебных и прокурорских работников Красноярского края имеются данные 0 принадлежности Рогинского к контрреволюционной организации, якобы существующей в органах прокуратуры, и приложены были протоколы допросов. Кобулов передал эти материалы для проверки своему заместителю Влодзимирскому.
Однако до ухода Вышинского из Прокуратуры Союза ССР Рогинский продолжал выполнять свои обязанности. Дамоклов меч опустился только в августе 1939 года — новый Прокурор Союза ССР Панкратьев нашел уважительную причину для увольнения Рогинского. В приказе было написано следующее: "За преступное отношение к жалобам и заявлениям, поступающим в Прокуратуру Союза ССР, тов. Рогинского Григория Константиновича, несущего непосредственную ответственность за работу аппарата по жалобам и заявлениям, снять с работы заместителя Прокурора Союза ССР". На самом же деле причиной увольнения были не жалобы, а некий мифический "заговор прокуроров", в котором будто бы участвовал и Рогинский. Ирония судьбы — ведь многих он сам отправлял под суд именно по такому же подозрению.
Почти месяц после увольнения Рогинского не трогали. Он жил в Москве, в Старопименовском переулке, вместе с женой Ириной Михайловной и восемнадцатилетним сыном Семеном.
5 сентября 1939 года за ним все-таки пришли. Постановление на арест вынес помощник начальника следственной части НКВД СССР Голованов, завизировал его Кобулов, а утвердил нарком внутренних дел Берия. Санкцию на арест дал Прокурор Союза ССР Панкратьев (он и Берия сделали это задним числом, только 7 сентября). В постановлении отмечалось, что "имеющимися в НКВД материалами Рогинский Г. К. достаточно изобличается как один из руководящих участников антисоветской правотроцкистской организации, существовавшей в органах прокуратуры".
В отличие от многих политических дел того времени, трагическая развязка которых наступала очень быстро, дело Г. К. Рогинского расследовалось почти два года. Сначала он держался стойко и категорически отрицал какую-либо причастность к антисоветским организациям. Но, судя по всему, на него все время оказывалось жестокое психологическое давление — Григорий Константинович стал проявлять в тюрьме "истерические реакции", что выражалось в плаксивости и боязни ложиться в кровать из-за того, что на него якобы "падают стены и он проваливается в пропасть". В начале января 1940 года Рогинский был осмотрен врачами, и те констатировали: "Душевной болезнью не страдает, но обнаруживает ряд навязчивых ярких представлений неприятного характера, связанных со сложившейся для него ситуацией".