В 1920–1921 годах Блюмкин был начальником штаба 79-й бригады, а позже – комбригом, планировал и осуществлял беспощадные карательные акции против восставших крестьян Нижнего Поволжья при подавлении Еланского восстания.
В Москве Блюмкин тесно сошёлся с рядом поэтов и литераторов. Общался с Есениным, познакомился с Маяковским, Шершеневичем и Мариенгофом. Николай Гумилёв писал о Блюмкине в стихотворении «Мои читатели»:
У историков есть версия, что именно Блюмкин по приказу Троцкого убил в Ленинграде Сергея Есенина. Как предполагают, поэта арестовал сразу после приезда в Ленинград и держали в доме № 8/23 по проспекту Майорова, где допрашивали четыре дня. Смысл допросов заключался в том, что Есенина хотели завербовать в качестве секретного сотрудника ГПУ. По-видимому, Есенин сопротивлялся и с силой толкнул Блюмкина, тот упал. Тогда прозвучал выстрел. (На фотографии покойного виден след от пулевого ранения). А после этого Блюмкин ударил Есенина рукояткой револьвера в лоб.
После убийства Блюмкин связался с Троцким и спросил, что делать с трупом Есениным. Тот ему ответил, что завтра появится его статья в газете о том, что неуравновешенный, упаднический поэт наложил на себя руки, и все замолчат. Так и произошло…
Осенью 1921 года Блюмкин занимается расследованием хищений в Гохране. В октябре 1921 года он под псевдонимом Исаев (взят им по имени деда) едет в Ревель под видом ювелира и, выступая в качестве провокатора, выявляет заграничные связи работников Гохрана. Есть версия, что именно этот эпизод в деятельности Блюмкина был положен Юлианом Семеновым в основу сюжета книги «Бриллианты для диктатуры пролетариата».
В 1922 году после окончания Академии Блюмкин стал официальным адъютантом наркома Троцкого. Выполнял его особо важные поручения, редактировал первый том программной книги Троцкого «Как вооружалась революция». Троцкий с похвалой писал о Блюмкине «Революция предпочитает молодых любовников».
Осенью 1923 года по предложению Дзержинского Блюмкин становится сотрудником Иностранного отдела (ИНО) ОГПУ. В ноябре того же года назначается резидентом нелегальной разведки в Палестине. Затем, как знавший восточные языки, тайно выехал в Афганистан, где пытался найти связь на Памире с сектой исмаилитов, почитавших в качестве живого бога своего лидера Ага-хана, который жил в ту пору в Пуне (Индия). С исмаилитским караваном Блюмкин, изображавший дервиша, проник в Индию. Однако там он был арестован английской полицией. Из тюрьмы Блюмкин благополучно бежал, прихватив с собой секретные карты и документы английского агента.
В 1926 году Блюмкин направлен представителем ОГПУ и Главным инструктором по государственной безопасности Монгольской республики. Выполнял спецзадания в Китае, Тибете и Индии. В 1927 году отозван в Москву в связи с трениями с монгольским руководством.
В 1928 году Блюмкин стал резидентом ОГПУ в Константинополе, откуда курировал весь Ближний Восток. Работал то под видом набожного владельца прачечной в Яффо Гурфинкеля, то под видом азербайджанского еврея-купца Якуба Султанова. Ему удалось завербовал венского антиквара Якоба Эрлиха, и обустроить резидентуру, законспирированную под букинистический магазин.
В 1929 году по заданию Сталина Блюмкин пытался совершить покушение на бывшего сталинского секретаря Б. Г. Бажанова, бежавшего за границу, но потерпел неудачу. Летом 1929 года приехал в Москву, чтобы отчитаться о ближневосточной работе. Его доклад членам ЦК партии о положении на Ближнем Востоке одобрен членами ЦК и руководителем ОГПУ.
В это время Блюмкин тайно наладил связь с высланным из СССР Троцким. В 1929 году состоялась их беседа. Блюмкин высказал свои сомнения в правильности сталинской политики и спросил совета: оставаться ли в ОГПУ, или уйти в подполье. Троцкий убеждал Блюмкина, что, работая в ОГПУ, он больше пригодится оппозиции. В то же время, Троцкий высказал сомнение, как мог троцкист, о взглядах которого было известно, удержаться в органах ОГПУ. Блюмкин ответил, что начальство считает его незаменимым специалистом в области диверсий. Вполне вероятно, что Блюмкин налаживал связи с Троцким по заданию ОГПУ.
Однако похождениям авантюриста в итоге пришел конец. Блюмкин был арестован по доносу любовницы Лизы Розенцвейг, сообщившей ОГПУ о его связях с Троцким. Он пытался бежать и его задержали только после погони со стрельбой. По одной из версий во время казни Блюмкин воскликнул «Да здравствует товарищ Троцкий!». По другой запел: «Вставай, проклятьем заклеймённый!».