После смерти Абрама Слуцкого (возможно, он был и отравлен) в феврале 1938 года его заместитель Михаил Шпигельглас стал исполняющим обязанности руководителя ИНО. Сам Шпигельглас руководил тайными операциями за линией окопов республиканской армии в Испании и организовал убийство в Швейцарии одного из перебежчиков, Игнатия Райсса. Позднее еще один перебежчик, Владимир Петров, вспоминал Шпигельгласа как человека жестокого, но в то же время «корректного, вежливого, делового, обладающего гибким умом и ловкими движениями». Как и Слуцкий, Шпигельглас был евреем. Через несколько месяцев его тоже ликвидировали. Когда Берия прибыл в Москву в июле 1938 года в качестве будущего преемника Ежова, он привез с собой своего грузинского «оруженосца», Владимира Георгиевича Деканозова, который и стал новым главой ИНО. Ростом чуть выше метра пятидесяти, с маленьким птичьим носом и несколькими прядями черных волос на голове, прикрывавшими заметную лысину, Деканозов был невзрачным на вид. Но многочисленные смертные приговоры, которые он направо и налево раздавал на Кавказе в начале 1920-х годов, заслужили ему репутацию «бакинского вешателя», которая впоследствии была усилена его кровожадными действиями во время «Великого Террора» в качестве заместителя председателя Совета Народных Комиссаров Грузии. Деканозов не обладал опытом в международных делах и был первым руководителем ИНО, который ни разу не был за пределами Советского Союза. Однако он сыграл гораздо более значительную роль в советской внешней политике, чем кто-либо из его более опытных предшественников. За два года он вырос до заместителя наркома иностранных дел, а затем стал послом в Берлине.
Поток разведывательной информации от Деканозова к Берии и Сталину после Мюнхена может быть оценен, исходя из мифической версии переговоров британского премьера Невилла Чемберлена в Риме в январе 1939 года, которой склонна была верить Москва. Литвинов говорил польскому послу, что «он получил информацию из надежного источника о том, что якобы Чемберлен в ходе своих бесед пытался затронуть „украинский вопрос“, что позволяло думать, будто Великобритания не станет рассматривать в неблагоприятном свете устремления Германии в этом направлении.» Москва была так убеждена в этом дополнительном свидетельстве попыток Великобритании подтолкнуть Гитлера к» нападению на Россию, что один из заместителей Литвинова и три месяца спустя в беседе с послом Италии продолжал клеймить мифический заговор Чемберлена.
Как раз когда данным внешней разведки НКВД можно было меньше всего доверять, ее влияние на формирование советской внешней политики было огромным. Каналы НКВД использовались для подготовки секретных переговоров с Финляндией в 1938 году и с Германией в 1939 году. Чистка дипломатов, якобы заклеймивших себя контрреволюционными или прозападными симпатиями, проводилась НКВД в течение всего 1938 года и продолжилась в 1939 году. Один из дипломатов, переживших это время, позднее вспоминал: «Зачастую случалось, что, договорившись встретиться с кем-то из коллег для обсуждения некоторых вопросов, на другой день обнаруживаешь, что он больше не работает в Наркоминделе — он уже арестован.» Самые сильные подозрения у Берии и Сталина вызывали дипломаты, обладавшие наибольшим опытом и пониманием Запада. Аресты затронули и руководство Наркоминдела. Бывший заместитель наркома иностранных дел Н.Н. Крестинский оказался одним из «врагов народа», которого приговорили к расстрелу на процессе так называемого «право-троцкистского блока», открывшегося в феврале 1938 года. Напряжение, с которым работал один из заместителей наркома иностранных дел, Борис Спиридонович Стомоняков, было столь велико, что коллеги часто видели Стомонякова с обернутым вокруг головы мокрым полотенцем, чтобы снять постоянно мучившие его головные боли. В конце рабочего дня он долго стоял под холодным душем. Но, как и Крестинский, он был расстрелян.