После этого большевикам и левоэсерам пришлось делить власть с анархистами, создавшими в Москве свои организации и вооруженные отряды Черной гвардии. Анархическая фракция во ВЦИКе вскоре оказалась в оппозиции Ленину, обвиняя его в «красном милитаризме». С анархистами расправились через три месяца, когда большинство их вождей (Железняков, Мокроусов, Желябов, Зайдель, Черняк, Гарин и др.) оказались разбросаны по фронтам Гражданской войны, в ночь с 11 на 12 апреля 1918 г., устроив оставшимся в Москве анархистам Варфоломеевскую ночь. Расправу над ними начали готовить еще в марте.[24]
Руководил мероприятием левоэсер Закс, один из заместителей Дзержинского. 25 занимаемых анархистами зданий внезапно окружили отрядами латышских стрелков и чекистов, на безоговорочную капитуляцию дано пять минут. 22 здания сдались, три (на Малой Дмитровке, Поварской и Донской) взяты штурмом с применением артиллерии. В течение суток уничтожены организованные анархистами столовые и библиотеки, закрыты их газеты, арестовано около шестисот наиболее видных руководителей. Была ликвидирована Федерация анархистских групп Москвы (ФАГМ), наиболее опасные вожди анархистов физически уничтожены. Такова судьба, например, анархиста Ходунова, депутата райсовета и завкома Московского телефонного завода, которого сначала объявили пропавшим без вести, а затем, когда через несколько дней нашли его изуродованный труп со следами пыток — убитым «при попытке к бегству».[25] Анархисты, оказавшиеся вне Москвы (в том числе упомянутый выше Железняков, больше известный как «матрос Железняк»), объявлены вне закона. Большевики и левоэсеры провели операции по разоружению анархистских организаций в Петрограде, Вологде, Воронеже, Самаре, Смоленске и других городах. Анархисты восстали, захватив Саратов, Елизаветград и ряд других пунктов, но неподготовленные и разрозненные выступления большевики и левоэсеры быстро потопили в крови.[26] Анархическую фракцию пока формально оставили в составе ВЦИК, поставив во главе ее марионетку — некоего авантюриста Аполлона Карелина, в прошлом народовольца, потом эсера, потом анархиста (его исключили из Федерации анархистов в 1913 г. за интриганство), потом масона, который являлся сугубо декоративной и случайно подвернувшейся фигурою. Прежний лидер фракции, Александр Ге, после безуспешных попыток поставить вопрос о разгроме анархистов на заседании ВЦИК 15 апреля (он, в частности, заявил: «наши товарищи расстреляны, и громадное число их сейчас сидят в тюрьмах в ужасающих скверных условиях»), был направлен в Кисловодск руководителем местной ЧК, там вскоре попал в руки белогвардейцев и как чекист без долгих разбирательств казнен.Анархисты утверждали, что Дзержинский особо обозлен на них с того времени, когда он, сидя в царской тюрьме, по их утверждению, сотрудничал с администрацией и ему грозила расправа со стороны политзаключенных.[27]
Трудно сказать, так это или нет, но известно, социалистов-революционеров Дзержинский уничтожал не менее рьяно: он подписывал смертные приговоры эсерам «между стаканами чаю, всегда угрюмо хмурясь, сопя носом и озираясь по сторонам испуганными глазами».[28]Ягода поспешил отречься от своего анархистского прошлого. Родственные связи с могущественным кланом Свердлова и здесь сыграли свою роль. Ягоде приписали десятилетний дореволюционный большевистский стаж.
24 апреля Высшая военная инспекция была, наконец, создана приказом Троцкого № 303. Назначая (вероятнее всего, не столько по рекомендации смещенного предшественника, сколько в угоду Свердлову) никому не известного Ягоду на должность управделами в хозяйственный комитет этой инспекции, Троцкий и не подозревал, какую роль предстоит сыграть им двоим в дальнейших судьбах друг друга.