После Февральской революции Шумский избирался членом корпусного, армейского, а потом фронтового комитета солдатских депутатов. После образования земельных комитетов его избрали членом Киевского губернского земельного комитета, а потом председателем Волынского земельного комитета. В 1917–1919 гг. Шумский был одним из лидеров левого крыла Украинской партии социалистов-революционеров, затем входил в ЦК отдельной партии боротьбистов. В январе 1918 г. вместе с другими левыми украинскими эсерами выступил против Центральной рады. В 1919 г. во время второго прихода большевиков на Украину он занимал пост народного комиссара просвещения. В 1920 г., после окончательного установления на Украине советской власти, А.Я. Шумский был членом президиума ЦИК Украины и членом Политбюро ЦК КП(б)У. В период наступления Врангеля и Пилсудского он был командирован президиумом ЦИК Украины на должности председателя сначала Полтавского, а потом Одесского губернского исполкома, был членом Реввоенсовета XII армии. С 1920 г. Шумский работал в Народном комиссариате иностранных дел. Был членом делегации на мирных переговорах с Польшей. В 1921–1923 годах — полпред УССР в Польше. В 1921 г. на III конгрессе Коминтерна был избран членом Исполкома Коминтерна и членом президиума ЦИК СССР. В феврале 1922 г. Шумский возглавил делегацию советского правительства по заключению торгового договора с Польшей. В 1924–1927 гг. Шумский снова занимает пост народного комиссара просвещения Украины и активно проводит политику украинизации.
В 1927 г., в связи с дискуссией по национальному вопросу, позиция А.Я. Шумского была осуждена Коммунистической партией и Коминтерном, и он был откомандирован с Украины на работу в Ленинград. Несмотря на развязанную в СССР кампанию против «шумскизма», политику смещённого наркома просвещения поддерживало большинство Коммунистической партии Западной Украины. В 1927 г. Шумский назначен ректором Ленинградского института народного хозяйства, а в 1929–1930 гг. был ректором Ленинградского политехнического института. 13 мая 1933 г. он был арестован по обвинению в принадлежности к «Украинской военной организации» и 5 сентября приговорён Коллегией ОПТУ к 10 годам содержания в Соловецком лагере. В 1935 г. из лагеря он был отправлен в тюрьму в Красноярск, где в 1946 г. пытался покончить жизнь самоубийством.
В сентябре 1946 г. сотрудниками НКВД он был вывезен из Красноярска и находился в больнице в Саратове. Убийство Шумского, как и другие «ликвидации» вождей и идеологов националистического движения, было санкционировано на самых верхних эшелонах власти. Вот как пишет об этом генерал-убийца Павел Судоплатов. «Как-то летом 1946 г. меня вызвали вместе с министром госбезопасности СССР Абакумовым в Центральный комитет партии на Старой площади. Там в кабинете секретаря ЦК Кузнецова я увидел Хрущёва, первого секретаря компартии Украины. Кузнецов проинформировал меня о том, что Центральный комитет согласился с предложением Кагановича и Хрущёва тайно ликвидировать руководителя украинских националистов Шумского. По сведениям МГБ Украины, Шумский установил контакты с эмигрантскими кругами на Западе, вёл закулисные интриги, с тем чтобы войти в состав формируемого в эмиграции временного правительства — Украинскую Головную Вызвольную Раду. Было известно также, что в разговорах со своими друзьями он проявлял неуважение по отношению к Сталину, позволял оспаривать мнение Сталина о себе и выдвигал свою версию обсуждения со Сталиным вопроса о составе украинского правительства в конце 20-х — начале 30-х гг. Шумский пользовался известностью в националистических кругах как человек, подвергшийся ещё в начале 30-х гг. репрессиям в ходе внутрипартийной борьбы. Его имя предавалось анафеме на всех партийных съездах в республике, а на свободе он оказался лишь потому, что был частично парализован, и его пришлось по состоянию здоровья отпустить из тюрьмы».
Выпущенный из тюрьмы для лечения в саратовской больнице и находясь «под колпаком» органов госбезопасности, Шумский «имел глупость» вступить в контакт с украинскими деятелями культуры в Киеве и за рубежом. Он обратился с дерзким письмом к Сталину, угрожая покончить с собой, если ему не разрешат вернуться на Украину. По словам Судоплатова, у Хрущёва имелась информация, что Шумский якобы уже купил билет на поезд и намерен вернуться на Украину, чтобы организовать вооружённое националистическое движение или бежать за границу и войти в состав украинского правительства в эмиграции.
Операции по устранению Шумского придавалось большое значение. В Саратов, где он лежал в больнице, для его ликвидации была направлена спецгруппа МГБ во главе с начальником токсикологической лаборатории Майрановским. Для организации «операции» и контроля над её проведением в Саратов выехали также хорошо знавший Шумского член ЦК коммунистической партии Лазарь Каганович, заместитель министра МГБ Огольцов и Павел Судоплатов.