Возвратившийся в НКВД А. Артузов в марте 37-го был назначен на должность научного сотрудника 8-го учетно-архивного отдела Главного управления государственной безопасности НКВД. Для специалиста такого класса, который руководил проведением сложнейших операций ВЧК, подобное назначение означало больше, чем завершение служебной карьеры. Артузов несколько раз попытался попасть на прием к наркому внутренних дел Н. Ежову. Однако нарком не принимал его. Тогда Артузов написал Ежову личное письмо. Ответа не последовало. Артузов направил наркому еще несколько писем. В одном из них он писал: «...Три месяца я переживаю провал нашей польской работы, думаю о его причинах и корнях. Стыжусь, что в разведке дал себя обмануть полякам, которых бил, работая в контрразведке. Глубоко понял, как должен быть недоволен мною и возмущен Сталин, который послал меня в Разведывательное управление исправлять работу. Особенно тяжело сознание, что я его подвел перед военными, ведь он надеялся, что я буду сталинским глазом в Разведупре». Далее Артузов писал: «Пока я еще не знаю, почему меня сняли из Разведупра. Я написал Сталину письмо (если разрешите, предъявлю вам копию этого письма), отчет о моей работе в Разведупре. Я думаю, что военные меня выперли, пользуясь тем, что Вам, занятому троцкистами, не до меня. Безуспешно я пытался тогда попасть к Вам на прием. После разговора с Фриновским я понял, какое несчастье случилось в НКВД по польской работе, понял свою ответственность, считал, что моя собственная судьба и моя работа – мелочь по сравнению со случившейся бедой, что ЦК поступил со мной чрезвычайно терпеливо...»
В Москве уже полным ходом шла чистка от тайных «врагов народа, предателей и вредителей». Артузов трезво оценил ситуацию. Его положение было безнадежным, и он решил сделать еще один упреждающий ход, который, как он, видимо, надеялся, должен спасти его жизнь.
На этот раз Артузов написал Н. Ежову докладную записку, где обвинил 34 сотрудника Разведуправления Красной Армии в троцкизме. В этот список попали и чекисты, которые прибыли на работу в Разведупр, и военные разведчики, которых Артузов хорошо знал. Охота на троцкистов в стенах военной разведки началась незамедлительно.
В первой половине 1937 года произошли очередные провалы в резидентурах военной разведки в некоторых европейских странах. Сталин знал и о провалах, и о письме Артузова. Поэтому он решил лично провести совещание руководящих работников Разведупра. Оно состоялось 21 мая 1937 года. Выступая перед руководителями военной разведки, Сталин сказал: «Разведка должна постоянно учитывать, что есть враги прямые и враги возможные. Все союзники – возможные враги, и союзников тоже надо проверять. С точки зрения разведки, у нас не может быть друзей. Поэтому никаких секретов никому не давать. При сотрудничестве с чехами давать им материалы, не вскрывающие наши планы. Считать чехов врагами наших врагов. Необходимо полностью учесть урок сотрудничества с немцами на основе тесных взаимоотношений с ними после Рапалло...»
Я. Берзин на этом совещании не присутствовал. Тем не менее Сталин счел необходимым заявить: «...Товарищ Берзин – честный человек, но проглядел и со своим аппаратом попал в руки немцев...» Далее сделал неожиданный вывод: «...Сеть Разведупра нужно распустить. Лучше распустить всю. Вызвать людей, присмотреться к ним и после тщательной проверки некоторые из них могут быть использованы в другом направлении, можно посылать их в другие места».
Сталин не забыл и о докладной записке Артузова. Видимо, именно тогда он и решил предпринять кардинальные меры по обновлению аппарата военной разведки. Завершая свое выступление, сказал: «Мы должны создать свою сильную разведку. Хорошая разведка может отсрочить войну. Сильная разведка врага и наша разведывательная немощь – это провокация войны. Нельзя быть слепыми, надо иметь глаза. Значит, надо иметь сильную разведку и контрразведку».
2 июня 1937 года состоялось расширенное заседание Военного совета при наркоме обороны. Сталин прибыл на это совещание и выступил с докладом. Касаясь проблем в работе военной разведки, он сказал: «Во всех областях разбили мы буржуазию, только в области разведки оказались битыми как мальчишки, как ребята. Вот наша основная слабость. Разведки нет, настоящей разведки. Я беру это слово в широком смысле слова, в смысле бдительности и в узком смысле слова также, в смысле хорошей организации разведки. Наша разведка по военной линии плоха, слаба, она засорена шпионажем. Наша разведка по линии ПУ возглавлялась шпионом Гаем, и внутри чекистской разведки у нас нашлась группа хозяев этого дела, работавшая на Германию, на Японию, на Польшу сколько угодно, только не для нас. Разведка – это та область, где мы впервые за 20 лет потерпели жесточайшее поражение. И вот задача состоит в том, чтобы разведку поставить на ноги. Это наши глаза и уши».