Сталин принял предложение Зиновьева и вошёл в «тройку», новое узкое руководство. Однако стал использовать своё новое положение не только для оттеснения Троцкого, а и для превращения партии в надёжную скрепу только что созданного СССР, весьма непрочного, более всего напоминавшего конфедерацию. Сталин, без сомнения, понимал, что страна в первую очередь нуждается в восстановлении промышленности, сельского хозяйства и транспорта, пришедших в полный упадок за годы мировой и гражданской войн. И пока разруха не ликвидирована, можно, но лишь временно, не опасаться за целостность СССР. В отличие от Троцкого и Зиновьева Сталин сумел осознать уже тогда и потенциально огромную роль Объединённого государственного политического управления (ОГПУ), третьей по значимости общесоюзной структуры после партии и армии, и стал использовать её, опираясь на идейную близость с Дзержинским. Так они вместе добились уже в августе 1922 г. запрещения свободного доступа Троцкого в Горки к Ленину, ограничив их общение только письмами.
…Смерть Ленина ускорила процесс, шедший уже почти два года. «Тройке» удалось провести на пост председателя СНК СССР Рыкова, не имевшего определённой, твёрдой позиции, хотя и находившегося на правом фланге партии. Спустя полгода ввели в ПБ Бухарина, с 1917 г. редактора «Правды», а с апреля 1924-го ещё и нового теоретического органа, журнала «Большевик», — человека, также стоявшего тогда на правых позициях и потому противника закрепления Троцкого в роли преемника Ленина.
Только шесть месяцев спустя, в январе 1925 г., «тройка», уже обеспечив большинство в ПБ и ЦК, сумела выполнить первую часть своих замыслов: снять Троцкого с поста председателя РВС СССР — наркома по военным и морским делам, чем обезопасила себя от ни на чём не основанных опасений возможных его бонапартистских поползновений.
Весь 1924 г., пока продолжалась борьба с Троцким как вполне возможным вождём, Сталин — политик ещё относительно слабый, игравший вторую роль, — занимал двойственную позицию. Как член «тройки» он отбивался от нападок Троцкого и его ближайшего сподвижника Преображенского, их чуть ли не прямых обвинений в свой адрес, на XII партсъезде назвал надуманными заявления левых о начавшемся перерождении, бюрократизации партии, о противостоянии в ней двух поколений, о том, что чистка, мол, стала оружием расправы большинства — Зиновьева, Каменева, Сталина — с меньшинством — Троцким и его сторонниками. Но одновременно Сталин и защищал Троцкого — как генсек обеспечил отклонение в начале года предложения петроградского губкома об исключении Троцкого из партии, а в конце года — требования Зиновьева и Каменева о выводе его из ПБ. Сталин стремился сохранить некое равновесие в узком руководстве, не допустить усиления позиций Зиновьева.
Из тех же соображений в том же 1924 г. Сталину пришлось во второй раз пойти на достаточно серьёзные уступки и в национальном вопросе — согласиться с исчезновением двух областных автономий, которым он придавал большое значение. В июне была завершена ликвидация Горской республики, а в декабре произошло «национально-государственное размежевание» в Средней Азии: расчленение Туркестанской АССР, Бухарской и Хивинской народных советских республик.
В то же время Сталину не раз приходилось делать заявления, которые должны были укрепить доверие к нему обеих основных группировок в партии: открыто признавать безусловность ленинского положения, в соответствии с которым империализм считался «кануном социалистической революции»; рассматривать СССР всего лишь «как подспорье, как средство ускорения победы пролетариата в других странах» и категорически отрицать возможность построения социализма в отдельно взятой стране, то есть в СССР. В цикле лекций «Об основах ленинизма», прочитанных в конце апреля — начале мая в Свердловском университете, Сталин чуть ли не дословно повторил ленинскую мысль:
Даже через год после поражения Гамбургского восстания он утверждал: