В сообщении об этом 19 мая 1929 года отмечалось, что совмещение должностей председателя Совнаркома СССР и Совнаркома РСФСР «слишком обременительно» для одного лица. В силу этого Рыков был заменен на посту председателя Совнаркома РСФСР С. И. Сырцовым.
Дальнейшее пребывание Алексея Ивановича на постах председателя Совнаркома СССР и председателя СТО СССР продлилось еще полтора года. К концу этого срока оно носило все более формальный характер, хотя официально Рыкова продолжали называть в выходивших книгах, журналах, газетах «одним из крупнейших работников партии». Сообщалось также, что «на XVI съезде ВКП(б) он признал ошибочность своих взглядов и отказался от них».
В различных партийных публикациях продолжали цитировать наиболее известные его публичные выступления: «Деревня, НЭП и кооперация» (отчет правительства на III съезде Советов), «О новой оппозиции» (речь на XIV съезде партии), «Хозяйственное положение страны и задачи партии» (речь на XIV Всесоюзной партконференции).
Черта под пребыванием Рыкова на высших союзных постах была проведена в 1930 году. На объединенном Пленуме ЦК и ЦКК ВКП(б), проходившем в Москве с 17 по 21 декабря, было принято решение о замене Алексея Ивановича на посту председателя Совнаркома СССР В. М. Молотовым. Рыков был лишен своих премьерских полномочий 19 декабря того же года. Его освободили также от обязанностей председателя СТО СССР и вывели из состава Политбюро ЦК ВКП(б).
Последующие пять лет, с 30 марта 1931 по 26 сентября 1936 года, Алексей Иванович работал наркомом почт и телеграфов (связи) СССР. В феврале 1934 года на XVII съезде партии он стал кандидатом в члены ЦК партии (в состав ЦК он впервые вошел еще в 1905 году).
Во время партийной чистки в ноябре 1933 года специальная комиссия признала, что Рыков продолжил «право-оппортунистическую политику», находясь на новой работе, а его публичные выступления были признаны «политически неудовлетворительными».
Тем не менее, еще более мощные удары ожидали Алексея Ивановича впереди. В 1937 году на февральско-мартовском Пленуме ЦК ВКП(б) Рыков и Бухарин были исключены из партии. В заключительный день Пленума, 5 марта 1937 года, Алексея Ивановича арестовали.
Следствие продолжалось целый год. Рыков был признан участником «антисоветского правотроцкистского блока». Процесс по делу этого блока был проведен в Москве со 2 по 13 марта 1938 года. К открытию процесса Октябрьский зал Дома Союзов был специально украшен, на скамье подсудимых — 21 человек. В зале много иностранцев.
Рыкову были предъявлены весьма суровые обвинения. Ему вменялись в вину «подготовка бандитско-повстанческих кулацких кадров», «подготовка кулацких восстаний», подготовка терактов против Сталина, Молотова, Кагановича, Ворошилова и т. д.
В частности, в обвинительном заключении содержался, к примеру, такой «аргумент»: «Обвиняемый Рыков показал: «Мы стали на путь насильственного свержения руководства партии и Советской власти».
Рыкова и других подсудимых обвинили в связях с рядом иностранных разведок, особенно — с польской. На процессе постоянно звучали обвинения в адрес участников «центра», готовивших якобы расчленение СССР, например, отделение от него Белоруссии. В обвинительное заключение была даже включена следующая фраза из показаний Рыкова: «Общая формула, на которой мы тогда сошлись, сводилась к тому, что в переговорах с поляками…мы пойдем на отторжение от СССР Белорусской советской республики, на создание «независимой» Белоруссии под протекторатом Польши».
В обвинительном заключении фигурировали также, в частности, показания Рыкова о намерении руководства «центра» в подходящее время «открыть фронт немцам в случае войны». Говорилось о якобы организованной в 1934 году Рыковым слежке за правительственными машинами и т. д., и т. п.
В показаниях Рыкова содержались, например, его признания о подготовке правыми государственного переворота. Причем на процессе приводилось такое признание Рыкова: «Был поставлен вопрос, чтобы осуществить этот переворот во время XVII партсъезда, когда соберутся все ответственные работники, и одновременно с виднейшими членами правительства можно будет подвергнуть аресту тех виднейших работников республик и областей, которые могли бы сопротивляться перевороту… но этот план был отвергнут».
В 11 ночи 12 марта 1988 года на процессе был объявлен последний перерыв. Трибунал удалился на совещание. Оно продолжалось 6 часов (целых 6 часов неслыханной моральной пытки для подсудимых). В половине пятого утра 13 марта судебное заседание возобновилось. Был оглашен приговор: Рыкова, Бухарина и еще 16 других обвиняемых приговорили к расстрелу.
Приговор был в тот же день приведен в исполнение. 15 марта в газетах появилось официальное сообщение об этом.
Нынешние исследователи считают материалы мартовского процесса 1938 года сфальсифицированными, а сам процесс — заказной инсценировкой.