В мае 1918 года Блюмкин прибывает в Москву в распоряжение партии левых эсеров, которая входила в состав первого советского правительства. Вскоре по согласованию с РКП(б) его направляют в ВЧК, где Я. Блюмкину поручается организовать отделение для борьбы с международным шпионажем. В связи с установлением дипломатических отношений с Германией и открытием 23 мая 1918 года в Москве германского посольства Блюмкину поручается разработка его персонала. По подозрению в подрывной работе против Советской России Блюмкин арестовывает брата посла Германии графа Роберта Мирбаха.
Левые эсеры, недовольные Брестским миром и установлением дипломатических отношений с Германией, принимают 4 июля 1918 года решение ликвидировать германского посла Вильгельма Мирбаха, что должно было послужить сигналом к восстанию в Москве. Убийство посла было возложено на Я. Блюмкина. Последний, используя своё служебное положение в ВЧК, изготовил на служебном бланке фальшивое удостоверение о том, что ему поручается провести переговоры с германским послом по делу, имеющему непосредственное к нему отношение. Подпись Ф. Дзержинского на удостоверении была подделана, а настоящую печать ВЧК поставил заместитель Дзержинского, левый эсер Ксенофонтов.
6 июля Блюмкин и его товарищи прибыли в посольство Германии и, предъявив удостоверение, потребовали личной аудиенции у посла под предлогом необходимости обсудить вопрос, связанный с арестом его брата. Вильгельм Мирбах согласился. В самом начале беседы Блюмкин и пришедший с ним фотограф ВЧК Андреев открыли стрельбу. Посол Вильгельм Мирбах был убит, а его сотрудники ранены.
Воспользовавшись возникшей суматохой, Блюмкин со своей группой скрылись на автомобиле. В Москве началось восстание эсеров. Был арестован Ф. Дзержинский. Через два дня эсеровский мятеж, заранее обречённый на неудачу, был подавлен.
Блюмкин и Андреев бежали на Украину. 27 ноября 1918 года Верховный революционный трибунал приговорил Блюмкина к тюремному заключению сроком на три года с применением принудительных работ. 16 мая 1919 года Блюмкин явился в ВЧК с повинной и был амнистирован.
В 1920 году Блюмкин вступил в РКП(б) и был направлен на службу в РККА. Он принимает участие в создании Гилянской Советской республики в Северном Иране в качестве комиссара штаба Красной Армии. В сентябре 1920 года его направляют на учёбу в Академию Генерального штаба. С 1922 года он работает в секретариате Реввоенсовета сотрудником по особым поручениям при Льве Давидовиче Троцком.
В 1924–1925 годах Блюмкин занимал должность заместителя полномочного представителя ОПТУ в Закавказье, а в 1926–1927 годах работал инструктором Службы госбезопасности Монголии. Со временем Блюмкин стал относиться к монгольским коллегам с излишним высокомерием. В ноябре 1927 года по настоянию председателя Монгольской народно-революционной партии Дамбе-Дорчжи Блюмкин отозван в Москву. Некоторое время он оставался в резерве внешней разведки.
В 1928 году начальник внешней разведки Трилиссер поручает Блюмкину создание нелегальной резидентуры внешней разведки в Палестине и Сирии. В сентябре 1928 года Блюмкин с персидским паспортом на имя купца Якуба Султана убыл в Стамбул. Там он открывает магазин персидских ковров и успешно легализуется. В марте 1929 года он находился в Берлине и там узнаёт, что Лев Троцкий выслан из СССР в Турцию. Блюмкин немедленно возвращается в Стамбул и 12 апреля встречается с сыном Троцкого Львом Седовым, а затем и самим Троцким. Блюмкин подробно рассказывает Троцкому, как организовать его личную охрану.
Располагая данными о встрече Блюмкина с Троцким, «легальный» резидент в Стамбуле информирует Центр об этой встрече. В начале октября 1929 года Блюмкина отзывают в Москву. 10 октября Блюмкин информирует видного троцкиста Карла Радека о своих контактах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщает об этом Сталину. 12 октября Блюмкин информирует сотрудницу ИНО ОГПУ Лизу Горскую о своих контактах с троцкистами. Лиза рекомендует Блюмкину немедленно доложить о своих встречах руководству внешней разведки. Блюмкин отказывается, и 14 октября 1929 года Лиза ставит в известность об этом заместителя М. Трилиссера Михаила Горба. Последний рекомендует Лизе прекратить все контакты с Блюмкиным. 15 октября 1929 года Яков Блюмкин был арестован. Следствие по его делу вёл заместитель начальника Секретно-политического отдела ОГПУ Яков Агранов, который впоследствии печально прославился участием в необоснованных репрессиях против чекистов. На допросах Блюмкин ничего не скрывал, надеясь на снисхождение.
Однако чистосердечное признание не помогло Блюмкину, и 3 ноября 1929 года он был расстрелян.