В январе 1924 года ХIII партконференция обвинила Троцкого в организации фракционной деятельности и заклеймила «троцкизм» как «мелкобуржуазный уклон». Зиновьев обвинял Троцкого в подготовке «бонапартистского» военного переворота и даже требовал его ареста. Сам Троцкий в конференции не участвовал. Еще осенью, во время охоты, он провалился в болото и сильно простудился. 8 января 1924 года «Правда» поместила сообщение о том, что ему предоставлен отпуск по болезни «не менее чем на два месяца». 18 января 1924 года он отбыл на лечение в Сухум.
Возможно, если бы Троцкий смог преодолеть себя и остался в Москве, судьба страны могла бы сложиться по-другому. Однако вольно или невольно Троцкий оставил поле битвы своим противникам. Через три дня после отъезда Троцкого на юг, под Москвой, в Горках, умер Ленин. Потом Лев Давидович будет возмущаться — его якобы специально неправильно информировали о дате похорон вождя, чтобы он не успел приехать из Сухума. Однако было уже поздно. Троцкисты потерпели поражение. Многих из них тогда предпочли спровадить из страны на работу за границей. В феврале 1924 года назначение в «почетную ссылку» получил и Антонов-Овсеенко. Его перевели на дипломатическую работу.
Сначала Антонов отправился в Китай. Там он вел весьма сложные переговоры по вопросу о юрисдикции Китайско-Восточной железной дороги (КВЖД). 31 мая 1924 года между СССР и Китаем было подписано «Соглашение об общих принципах для урегулирования вопросов между СССР и Китайской республикой», по которому страны восстанавливали между собой дипломатические отношения.
В июне 1924 года его назначили полпредом СССР в Чехословакии. Там он проработал до 1928 года. Затем он занимал такой же пост в Литве — в 1928–1929 годах. В январе 1930 года его перевели в Варшаву. В Польше на жизнь Антонова-Овсеенко готовили покушение: 26 апреля дворник соседнего с полпредством здания заметил какой-то странный провод, потом он обнаружил, что провод шел к устройству с часовым механизмом, которое находилось в сарае. На всякий случай дворник вызвал полицию. Полицейские обнаружили, что в дымоход, рядом с квартирой Антонова-Овсеенко, заложена взрывчатка. Взрыв должен был произойти в субботу, 27 апреля, в 8 часов вечера. В Польше Антонов-Овсеенко проработал до 1934 года.
Пока Антонов представлял интересы СССР за границей, в самом «первом в мире государстве рабочих и крестьян» обстановка изменилась радикальным образом. От бурных 20-х с их НЭПом, внутрипартийными дискуссиями, борьбой за власть между «наследниками Ленина», надеждами на «мировую революцию», смелыми экспериментами в области литературы и общественной жизни, не осталось и следа. У власти оказались Сталин и его окружение. С конца 20-х — начала 30-х годов регулярно проводились показательные политические процессы против «врагов», «вредителей», «подрывных элементов» и т. д. Сталин постепенно превращался в «вождя» и «великого руководителя». Достаточно почитать воспоминания Антонова-Овсеенко «В Семнадцатом году», вышедшие в 1934 году. Имя Сталина упоминается в нем часто, с хвалебными эпитетами — «железный Сталин», «проницательный шаг товарища Сталина», «пророчески заметил товарищ Сталин» и др.
Оппозиция в партии была полностью разгромлена. Сначала отстранили от власти Троцкого — в январе 1925 года его сняли с постов наркомвоенмора и председателя Реввоенсовета. Новым наркомом стал Михаил Фрунзе, а его заместителем — Климент Ворошилов. Троцкий получил ряд второстепенных хозяйственных постов: председатель Главного комитета по концессиям (Главконцесском), председатель Особого совещания при ВСНХ по качеству продукции, председатель Электротехнического комитета.
Однако, разгромив Троцкого, «тройка» Сталин — Зиновьев — Каменев и сама распалась. Зиновьев и Каменев выступили против Сталина, организовав так называемую «новую оппозицию». На XIV съезде партии в декабре 1925 года она потерпела поражение. Зиновьева сняли с должности председателя Исполкома Коминтерна, а Каменева — с постов заместителя председателя Совнаркома, председателя Совета Труда и Обороны и председателя Исполкома Моссовета. Он был назначен наркомом внешней и внутренней торговли.
В 1926–1927 годах оппозиционеры попробовали совместными силами дать бой Сталину. «Объединенная оппозиция» состояла из Троцкого и его сторонников, Зиновьева и Каменева, остатков разгромленной ранее «рабочей оппозиции» Александра Шляпникова. На Июльском и Октябрьском пленумах ЦК 1926 года Троцкого, Зиновьева и Каменева вывели из состава Политбюро. Кульминацией этой борьбы стала попытка оппозиции провести к 10-ле-тию Октябрьской революции, 7 ноября 1927 года, «параллельные» демонстрации своих сторонников в Москве и Ленинграде. Но их участники были атакованы толпами, забрасывавшими их «льдинами, картофелем и дровами» и выкрикивавшими лозунги: «Бей оппозицию!», «Долой жидов-оппозиционеров!» и т. д.