Германская революция ноября 1918-го освободила Раковского из тюрьмы. С января 1919 по июль 1923 года Раковский занимает высшие посты в Советской Украине – председателя СНК Украины и одновременно наркома иностранных дел Советской Украины. В 1919–1927 годах Раковский – член ЦК ВКП(б), член ЦК КП(б)У, член ЦИК СССР. Он – член исполкома Коминтерна и глава Юго-Восточного бюро Коминтерна. Он совмещает свою деятельность в Украине с должностью начальника Политуправления Реввоенсовета (РВС) республики в 1919–1920 годах и с работой в РВС Юго-Западного и Южного фронтов Красной армии.
В 1919 году Раковский развязывает в Украине «красный террор», подавление «крестьянских восстаний», проводит насильственную русификацию, отстраняет украинских большевиков от власти в Советской Украине. Тогда же он провел эксперимент по организации в Украине сельскохозяйственных коммун. В мае 1919 года против правления Раковского вспыхнуло крестьянское восстание, к которому примкнули отдельные части Украинской Красной армии.
После установления советской власти в Украине в 1920 году Раковский пытается вести более взвешенную политику, однако ориентация на Троцкого толкала его к «экстремистскому большевизму и террору». В 1921–1923 годах Раковский выступил за федеративный союз Украины и РСФСР – против их полного слияния, против сталинского плана автономизации советских республик в составе РСФСР. С 1922 года он даже поддержал политику украинизации и коренизации, выступал за расширение прав союзных республик. Как «искушенный европеец» Раковский в числе других советских дипломатов участвовал в Генуэзской конференции.
В 1923 году Сталин обвинил Раковского в «конфедерализме» и снял со всех руководящих постов в Советской Украине. Карьера Раковского закончилась после ослабления влияния Троцкого. С 1923 года Раковский довольствовался постами заместителя наркома иностранных дел СССР и полпреда в Великобритании, в 1925–1927 годах возглавил советское полпредство во Франции. Ценитель искусства, опытный заговорщик Раковский принимает в своем представительстве «левую» богему Парижа: Луи Арагона, Анри Барбюса, Сальвадора Дали и… болгарских политэмигрантов во Франции. По требованию французских властей он был выслан из Франции в октябре 1927 года за шпионаж.
В 1926 году Раковский примкнул к «новой оппозиции» Каменева – Зиновьева – Троцкого, а в мае 1927-го подписал «письмо 83-х» и проект Платформы большевиков-ленинцев, выступавших с критикой Сталина. В конце 1927 года Раковский был репрессирован как активный троцкист и исключен из партии. В январе 1928-го он был сослан на шесть лет в ссылку в Астрахань, потом в Саратов, где работал в различных государственных комиссиях.
Летом 1928 года из астраханской ссылки он написал за границу Г. Б. Валентинову послание. Это послание в 1929 году было опубликовано в «Бюллетене оппозиции» под заглавием «Письмо о причинах перерождения партии и государственного аппарата». «Ни физически, ни морально ни рабочий класс, ни партия не представляют из себя того, чем они были лет десять тому назад, – писал Раковский. – Я думаю, что не очень преувеличиваю, если скажу, что партиец 1917 года вряд ли бы узнал себя в лице партийца в 1928 году… Вы спрашиваете, что случилось с активностью партии и нашего рабочего класса, куда исчезла их революционная инициатива, где делись идейные интересы, революционное мужество, плебейская гордость. Вы удивляетесь, почему столь много подлости, трусости, малодушия, карьеризма и многого другого, что я прибавил бы со своей стороны. Как получается, что люди с богатым революционным прошлым, несомненно честные, лично дававшие многократные примеры революционного самоотвержения, превратились в жалких чиновников…» Раковский мечтал «…предохранить и партию и рабочий класс от разлагающего действия привилегий, преимуществ и поблажек, присущих власти». Он считал, что буржуазные нравы, имущественное расслоение и нэп разлагают партию и рабочий класс, усугубили разделение между верхами и низами. Раковский возмущался тем фактом, что «…социальное положение коммуниста, который имеет в своем распоряжении автомобиль, хорошую квартиру, регулярный отпуск и получает партмаксимум, отличается от положения того же коммуниста, работающего на угольных шахтах, где он получает от 50 до 60 рублей в месяц».
В годы ссылки Раковский регулярно переписывается с Троцким и троцкистами, он даже предпринял, правда, неудачную, попытку бежать из ссылки, но чекисты его возвратили в Барнаул. В ссылке Раковский написал воспоминания и книгу о борьбе с пьянством. В 1929–1930 годах Раковский пишет два обращения оппозиции к ЦК и XVI съезду партии, где критикует сталинскую политику.