Только 10 мая Григорьев заявил Антонову-Овсеенко, что начинает восстание и будет уничтожать всех, кто пришел в Украину с целью эксплуатации. «Правительство авантюриста Раковского[29] я считаю свергнутым, — вещал атаман. — Через два дня возьму Харьков, Екатеринослав, Херсон, Киев и Николаев». Тогда же «Григорьев и его сообщники» были объявлены вне закона. 10–14 мая григорьевцами были захвачены Умань, Помошная, Новомиргород, Тараща, Корсунь, Александрия, Балта, Ананьев, Кривой Рог. В Казатине на сторону Григорьева перешел Нежинский полк. В Лубнах восстал 1-й полк Червонного казачества, он разгромил ЧК, тюрьму и банк. Поддержала Григорьева даже большевистская партийная организация Лубен, за что была распущена.
В советских источниках того времени сообщалось, что наступление Григорьева на Екатеринослав «застало местные власти врасплох». 11 мая, когда войска атамана подошли к городу, к ним присоединился советский гарнизон Верхнеднепровска. В штабе 2-й советской армии началась паника, и он покинул Екатеринослав, скрывшись на станции
Синельниково. Попытки организовать оборону Екатеринослава успеха не имели. Началось общее бегство. 12 мая в городе восстал Черноморский полк под руководством матроса Орлова и конный отрад анархиста Максюты; оставшиеся верными большевикам части и советские учреждения быстро покинули город. Восставшие отдали Екатеринослав во власть Григорьева, разгромили тюрьму и ЧК, назначили своего коменданта города.
15 мая красная группа А. Пархоменко сумела отбить Екатеринослав. 16 мая пленные григорьевцы подняли бунт в тюрьме и, объединившись с уголовниками, разгромили тюрьму, захватили часть города, снова впустив отрады Григорьева в Екатеринослав, который опять на несколько дней оказался в руках мятежников. Большевиков охватила паника, они стали готовиться к эвакуации Киева, Полтавы, Одессы. Велика была опасность перехода всех украинских советских армий на сторону Григорьева. Перепуганные партийные функционеры просили центр разрешить «поделиться» властью с украинскими левыми социалистами. Среди тех, кто поддержал Григорьева, были команда бронепоезда «Черноморец», воинские части в Кременчуге и Черкассах, моряки и Крестьянский полк Одессы, 2-й полк Таращанской дивизии. На стороне Григорьева выступили атаманы Волынец, Орлик, Шепель[30].
15 мая началось восстание в Белой Церкви, 16 мая взбунтовались матросы Очакова, и тогда же в Херсоне власть захватил переизбранный исполком советов во главе с левыми эсерами (украинскими и русскими), которые присоединились к восстанию. На протяжении двух недель Херсон был «независимой советской республикой», которая боролась против большевиков. На сторону мятежников перешел городской гарнизон — 2-й полк и полк им. Дорошенко.
В Николаеве восстали матросы и солдаты гарнизона (5 тысяч человек) во главе с левыми эсерами. Они разогнали ЧК, органы власти, большевистские комитеты и впустили в город григорьевцев. Возглавили восстание матросы Евграфов и Проскуренко (это восстание в 1920-х годах называли «Южным Кронштадтом»), В Александровске солдаты Красной армии, посланные на борьбу с Григорьевым, заявили, что воевать с ним не будут, и разогнали ЧК, освободили повстанцев из тюрем. Так же поступил полк 1-й Украинской советской армии, получивший приказ выступить против Григорьева. Его солдаты разгромили большевиков в Бердичеве и Казатине и угрожали «пойти на Киев».
Для разгрома григорьевцев были собраны все силы Советской Украины, прошла мобилизация коммунистов, рабочих, советских служащих, комсомольцев и членов еврейских социалистических партий. Около 10 тысяч солдат были срочно направлены из России. 14 мая три группы войск (30 тысяч солдат) под командованием К. Ворошилова и А. Пархоменко начали общее наступление из Киева, Полтавы и Одессы.
Хотя к 15 тысячам григорьевцев присоединились еще около 8 тысяч красноармейцев и крестьян, им не удалось надолго удержать инициативу в своих руках. Григорьев оказался бездарным фельдфебелем, не сумевшим ни спланировать военную операцию, ни предвидеть последствия своих действий.
Во второй половине мая григорьевских повстанцев удалось неожиданно быстро разгромить и локализовать в степных районах Херсонщины. Многие части, поддерживавшие Григорьева еще неделю назад, опомнились и возвратились под красное командование. Атаман обещал своим бойцам, что серьезного сопротивления они не встретят, заявляя, что вся страна уже захвачена повстанцами. Но когда григорьевцы оказались под огнем пулеметов и пушек, боевой пыл их угас. Тысячи мятежников стали сдаваться при первом же приближении регулярных частей Красной армии.