В марте 1932 г. в журнале «Бюллетень оппозиции», который издавался за границей с 1929 г., было опубликовано открытое письмо Троцкого Президиуму ЦИК СССР, от имени которого был издан указ от 20 февраля 1932 г. о лишении Троцкого советского гражданства. В письме Троцкий называл указ «фальшивой бумажкой», которая не удержит его и его единомышленников «от выполнения нашего долга». Этот долг, по мнению Троцкого, состоял в том, что «надо, наконец, выполнить последний настойчивый совет Ленина:
Внутри страны в 1932 г. идейным союзником Троцкого и центральной фигурой сопротивления стал М. Н. Рютин. Бывший секретарь Краснопресненского райкома партии г. Москвы, исключенный из партии в 1930 г., Рютин подготовил в марте 1932 г. большую теоретическую работу «Сталин и кризис пролетарской диктатуры». По рекомендации старых большевиков В. Н. Каюрова и М. С. Иванова на основе своей работы он написал манифест-обращение «Ко всем членам партии». Документы составили программу действий организации, названной «Союзом защиты ленинизма», а затем «Союзом марксистов-ленинцев». В ее состав вошло 42 человека. С организацией были связаны Зиновьев и Каменев.
Члены «Союза» обвинили руководство ВКП (б) и лично Сталина в предательстве мировой революции; в форсированной, ударившей по рабочим и служащим индустриализации; в насильственной коллективизации; в «чудовищном обнищании масс» и голоде. Они призвали к свержению Сталина и «его клики» и первым шагом к этому рассматривали создание и расширение своей организации.
В сентябре 1932 г. 30 членов «Союза» были арестованы, осуждены и приговорены к различным срокам заключения. Наибольший срок (10 лет) получил Рютин. Сталин требовал расстрелять его, но против этого выступили С. М. Киров и Г. К. Орджоникидзе. После гибели Кирова и самоубийства Орджоникидзе 12 осужденных членов «Союза» были расстреляны.
Новый этап внутрипартийной борьбы развернулся на XVII съезде ВКП (б) (26 января – 10 февраля 1934 г.). В официальных выступлениях делегаты съезда говорили о победе генерального курса ЦК по коренной перестройке страны, о выдающемся вкладе И. В. Сталина в эту победу. Сталина называли единственным вождем партии и народа, гением. Бухарин назвал его «фельдмаршалом пролетарских сил». Очистив руководство партии от явной, открытой оппозиции, став признанным, неформальным и единственным лидером, Сталин после съезда отказался от поста генерального секретаря, остался просто секретарем ЦК. Пост генсека был упразднен.
Однако во время тайных выборов членов нового ЦК против Сталина проголосовало 300 из 1225 делегатов с решающим голосом. Более того, некоторые из них предложили Кирову возглавить ЦК, а Сталина переместить на пост председателя СНК СССР.
Все это стало известно Сталину. Его последующие действия свидетельствуют о том, что он решил любой ценой искоренить тайную партийную оппозицию. В противном случае она могла на очередном съезде большинством голосов, т. е. демократическим путем, отстранить Сталина от власти и привлечь к ответственности за состояние дел в партии и стране.
Поводом к расправе над оппозиционными силами стало потрясшее всю страну убийство 1 декабря 1934 г. второго человека в партийном руководстве – С. М. Кирова. Началась серия чисток партии. Эту цель преследовал и проведенный в 1935–1936 гг. обмен партийных билетов.
Вершиной расправы стал массовый террор против коммунистов и открытые судебные московские процессы 1936–1938 гг. над старой большевистской гвардией, сторонниками мировой революции: август 1936 г. – дело т. н. «Антисоветского объединенного троцкистско-зиновьевского центра» (привлечены к суду Каменев, Зиновьев и др.); январь 1937 г. – дело т. н. «Параллельного антисоветского троцкистского центра» (Радек, Пятаков и др.); февраль-март 1938 г. – дело т. н. «Правотроцкистского антисоветского блока» (Бухарин, Рыков и др.).
Идейно-политическое обоснование необходимости широких репрессий было дано Сталиным на февральско-мартовском (1937 г.) пленуме ЦК ВКП (б). Он заявил, что до 30-х годов «враги народа» находились вне коммунистической партии, а в 30-е годы они проникли во все организации партии. Врагом стал не буржуазный специалист, а коммунист, человек с партийным билетом в кармане, заподозренный в троцкизме.