В 1924–1925 годах Блюмкин занимал должность помощника (второго заместителя) полномочного представителя ОГПУ в Закавказье, а в 1926–1927 годах работал главным инструктором Службы внутренней охраны (органы госбезопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили голову Блюмкину, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи он был отозван в Москву, где, несмотря на протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.
В 1928 году Трилиссер поручает Блюмкину ответственное задание — организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать разведывательную сеть в Палестине и Сирии.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж. В марте
1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Блюмкин принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля он встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет о том, что «полностью передает себя в его распоряжение».
Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через сына Троцкого он регулярно передает Льву Давидовичу секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Вскоре «легальная» резидентура ИНО ОГПУ информирует Москву о регулярных контактах Блюмкина с изгнанником.
В начале октября 1929 года Блюмкин был отозван из страны. В Москве он попытался объединить всех сторонников Троцкого. 10 октября Блюмкин проинформировал видного троцкиста Карла Радека о своих встречах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщил об этой беседе Сталину. 12 октября Блюмкин рассказал сотруднице ИНО ОГПУ Лизе Горской (в дальнейшем видная советская разведчица-нелегал Елизавета Зарубина) о своих контактах с троцкистами. Лиза рекомендует Блюмкину немедленно доложить о своих встречах руководству внешней разведки. Блюмкин отказывается, и 14 октября 1929 года Лиза ставит в известность об этом помощника начальника Иностранного отдела Михаила Горба. Горб дает указание Горской прекратить все контакты с Блюмкиным.
15 октября Яков Блюмкин был арестован. Следствие по его делу вел заместитель начальника Секретно-политического отдела ОГПУ Яков Агранов, который впоследствии печально прославился участием в необоснованных репрессиях против чекистов. На допросах Блюмкин ничего не скрывал, надеясь на снисхождение. Однако чистосердечное признание ему не помогло. 3 ноября 1929 года коллегия ОГПУ по указанию Сталина постановила расстрелять Блюмкина «за повторную измену делу пролетарской революции и советской власти и за измену революционной чекистской армии».
Среди сотрудников внешней разведки он стал первой жертвой внесудебных расправ. Тем самым вождь дал понять чекистам, что впредь любое непослушание будет строго караться.
После отзыва в Москву и ареста Якова Блюмкина положение Наума Эйтингона как «легального» резидента ОГПУ в Стамбуле серьезным образом осложнилось. Требовалось срочно реорганизовать работу нелегальной резидентуры, которую ранее возглавлял Блюмкин. В октябре 1929 года на замену Блюмкину из Москвы был направлен бывший начальник Восточного сектора ИНО Георгий Агабеков. В Стамбул он прибыл под видом армянского купца и под руководством Эйтингона приступил к реорганизации агентурной сети. Через «легальную» резидентуру он поддерживал связь с Центром. В конце 1929 года Агабеков принял на связь агентуру в Греции в связи с арестом там нелегального резидента ОГПУ. Однако в июне 1930 года Агабеков бежал на Запад. Вскоре в Берлине он выпустил книгу под названием «ГПУ. Записки чекиста», в которой назвал Эйтингона резидентом советской внешней разведки. Это обстоятельство вынудило Центр отозвать разведчика в Москву, чтобы избежать различного рода провокаций.