В гараже Блюмкину по распоряжению Александровича предоставили «паккард» с открытым верхом. Яков заехал в гостиницу, переоделся и отправился в 1-й Дом Советов (гостиница “Националь”), где в квартире П.П. Прошьяна, члена ЦК ПЛСР, его уже ждал Николай Андреев. Террористы получили по бомбе и револьверу.
Четвертым участником покушения стал матрос из отряда ВЧК, вооруженный бомбой. В случае гибели шофера, он должен был сесть за руль.
В 14 часов 15 минут «паккард» остановился у особняка германского посольства в Денежном переулке. Выйдя из машины, Блюмкин приказал шоферу не глушить мотор.
Граф Мирбах, боясь покушений, избегал приема посетителей Однако, узнав, что прибыли официальные представители советской власти, он спустился в гостиную. Гости и хозяева расположились за круглым массивным мраморным столом — с одной стороны Блюмкин, напротив него — Мирбах, сотрудники посольства Карл Рицлер и Леонгарт Мюллер. Андреев встал у дверей.
Яков разложил на столе бумаги и принялся объяснять послу, что ВЧК арестовала его родственника, офицера австрийской армии, по обвинению в шпионаже. Он предъявил графу протоколы допроса Роберта Мирбаха и бумаги, полученные из датского консульства.
Вильгельм Мирбах заявил, что с этим родственником он никогда не встречался и ему безразлична его судьба. А Рицлер добавил, обращаясь к графу: «Ваше сиятельство, я полагаю, что следует прекратить этот разговор, а Чрезвычайной комиссии дать письменный ответ через Народный комиссариат иностранных дел».
В этот момент в разговор вмешался Андреев: «Видимо, господину графу интересно знать, какие меры будут приняты с нашей стороны?» И Блюмкин тут же повторил вопрос: «Да, господин посол, вы желаете это знать?» И, не дожидаясь ответа, он выхватил револьвер и несколько раз выстрелил в немцев. Рицлер и Мюллер упали на пол, граф побежал в соседний зал. Андреев догнал Мирбаха и кинул ему под ноги бомбу, но она не взорвалась. Тогда террорист сильным ударом свалил графа и отскочил в сторону. В этот момент Блюмкин поднял бомбу и бросил ее в Мирбаха. Раздался громкий взрыв. Яков отлетел на несколько шагов. На полу около полуметровой выбоины остался лежать раненный в голову Мирбах.
Оставив на столе шляпы, револьвер, портсигар, документы и портфель с запасной толовой бомбой, террористы бросились к разбитому окну. Андреев через несколько секунд уже был в автомобиле. Блюмкин же приземлился неудачно. К тому же, когда он перелезал через железную ограду, из посольства открыли огонь, Пуля угодила Якову в ногу. Он с трудом забрался в «паккард».
Через несколько минут террористы были уже во дворе особняка Морозова в Трехсвятительском переулке. Здесь размещался штаб отряда ВЧК, которым командовал левый эсер Д.И. Попов. Блюмкину изменили внешность: остригли, сбрили бороду, переодели в красноармейскую форму. Затем перевезли в лазарет, на другой стороне переулка.
Не прошло и получаса после взрыва в Денежном переулке, как управляющему делами Совнаркома Бонч-Бруевичу позвонил Чичерин и сообщил о покушении на Мирбаха.
Бонч-Бруевич немедленно передал это сообщение Председателю Совнаркома В.И. Ленину. Узнав о случившемся, Ленин распорядился усилить охрану германского посольства. Затем связался с Л.Д. Троцким, Я.М. Свердловым, Ф.Э. Дзержинским и другими руководителями государства и поставил их в известность о террористическом акте. Во все районные комитеты РКП(б), районные Советы была отправлена телефонограмма, в которой сообщалось о том, что в немецком посольстве взрывом бомбы тяжело ранен Мирбах. «Это явное дело монархистов или тех провокаторов, которые хотят втянуть Россию в войну в интересах англо-французских капиталистов, подкупивших и чехословаков. Мобилизовать все силы, поднять на ноги все немедленно для поимки преступников. Задерживать все автомобили и держать до тройной проверки. Предсовнаркома В. Ульянов (Ленин)».
Вскоре поступили сведения о том, что Мирбах скончался и что его убийство осуществлено левыми эсерами. Ленин приказал задержать в Большом театре депутатов съезда Советов от этой партии. В пятом часу он вместе с Председателем ВЦИК Свердловым поехал в германское посольство, чтобы выразить негодование по поводу акта политической провокации и соболезнование. Там уже находился Дзержинский, который выехал в посольство вместе с Л.М. Караха-ном сразу же после телефонного разговора с Лениным. На месте преступления работали следователи и комиссары, а также бойцы из отряда ВЧК.
Дзержинский, взяв с собой Беленького и Трепалова, поехал в штаб отряда Попова. Но Блюмкина он там не нашел. Более того, Дзержинский и сопровождавшие его чекисты были обезоружены и арестованы. На улицах начались аресты большевиков, занимавших важные должности в советском и военном аппаратах.