Григорьев попросил у командования три недели на отдых для своей дивизии в родных краях, для переформирования частей перед дальним походом. В конце апреля григорьевцы ушли в район Елизаветград–Александрия, большая их часть была распущена по селам. Появление «победоносных повстанцев» там, где хозяйничали продотрядовцы и чекисты, круто изменило обстановку на Херсонщине. Бойцы Григорьева открыто призывали к еврейским погромам, к резне коммунистов и изгнанию русских с Украины. В первых конфликтах, уже через пять-шесть дней после появления григорьевцев на Елизаветградщине, были убиты несколько коммунистов, чекистов и красноармейцев.
7 мая 1919 года народный комиссар по военным и морским делам Советской Украины Н. И. Подвойский обратился к 3-й Украинской советской армии с приказом, призывающим ее перенести войну в пределы Румынии «для освобождения угнетенной Бессарабии» и помощи Венгерской революции. Антонов-Овсеенко приказал перед наступлением к 10 мая сосредоточить силы атамана Григорьева вдоль Днестра, на румынской границе. Атаман ответил ему: «Решено! Я с вами — до конца! Иду на румынов».
1 мая, в День солидарности трудящихся, григорьевцы преподнесли «подарок» жителям советского Елизаветграда, обстреляв город из пушек своего бронепоезда. Через день начался первый из черного списка еврейских погромов, устроенных григорьевцами в мае 1919-го, — погром на станции Знаменка. Было убито около 50 евреев, 120 домов разграблено. 4 мая в дивизии Григорьева закончила свою работу Высшая военная инспекция. В ее отчете говорилось о необходимости немедленного увольнения Григорьева и его штабистов с командных должностей и предания их суду. 4–6 мая григорьевцы устроили погромы в Елизаветграде, Александрии, на станции Долинская. Но власти еще надеялись, что это стихийные выступления, не имеющие никакого отношения к «красному» командиру дивизии Никифору Григорьеву.
Только 7 мая первым ударил в набат командующий 3-й Украинской советской армией М. Худяков: он приказал Григорьеву в 24 часа прекратить безобразия, чинимые солдатами его дивизии. В случае, если атаман не сможет утихомирить своих повстанцев, он обязывался прибыть в штаб армии, в Одессу, и сложить с себя полномочия комдива. Если приказ не будет выполнен, то уже через сутки Худяков пообещал начать борьбу с Григорьевым и объявить его мятежником. Получив приказ-ультиматум, атаман перестал маскироваться и вилять и решил возглавить восстание. В тот же день его пытались арестовать. Несколько чекистов Особого отдела фронта ворвались в штабной вагон и объявили атамана арестованным. Но через несколько минут они сами были задержаны григорьевцами. В тот же день чекистов расстреляли, а всех коммунистов-политработников дивизии арестовали.
8 мая 1919 года Григорьев издал универсал (манифест) «К народу Украины и бойцам Красной Украинской Армии», который стал призывом к всеобщему восстанию. Только в день провозглашения универсала СНК Советской Украины решил, что Григорьев поднял восстание. Однако атаман телеграфировал, что не имеет никакого отношения к универсалу, и обещал 10 мая выступить на Румынский фронт. Мятежный командир назначил на 9 мая встречу партийному лидеру Льву Каменеву, чтобы прояснить ситуацию. Григорьев еще хитрит, взвешивает силы...
На следующий день после появления универсала Григорьев повел восставших (16 тысяч солдат, при 52 пушках, 7 бронепоездах и около 500 пулеметах) в наступление. Из района Знаменка–Александрия двигались три колонны восставших. На Екатеринослав устремилась колонна начальника штаба восставших Тютюнника. В Киев направлялся отряд во главе с командиром бригады Павловым. В первые три дня наступления этот отряд захватил Кременчуг, Чигирин, Золотоношу, причем местные советские гарнизоны присоединились к восставшим и не допустили эвакуации ценностей, оружия и амуниции. Отдельные отряды устремились к Одессе и. Полтаве. На Черкассы восставших повел казачий атаман Уваров. После захвата города 2-й советский полк присоединился к григорьевцам. Третья колонна восставших, главной силой которой был «лучший» Верблюжский полк под командованием Горбенко, еще 8 мая овладела Елизаветградом. В городе были разогнаны совет и ЧК, обезоружены воинские части, расстреляно около тридцати коммунистов, арестован военный комиссар.
15 мая по Елизаветграду прокатился еврейский погром. Более трех тысяч евреев (а по некоторым данным — более четырех тысяч) были уничтожены, озверевшие вчерашние красноармейцы убивали женщин, детей, стариков за поддержку «коммунии». Из тюрьмы мятежники выпустили уголовников, которые особенно зверствовали во время погрома.
Волна погромов прокатилась и по другим городам. В Кременчуге погибло 150 человек, в Новом Буге — 120 и в Черкассах — более 600. Командиры григорьевцев в Черкассах призывали каждого повстанца убить не менее 15 евреев. В маленьких местечках Черкасского уезда григорьевцы уничтожили еще около тысячи евреев. В Александрии погром унес более 1000 жизней.