После образования 10 июля 1934 года Народного комиссариата внутренних дел СССР Иностранный отдел (ИНО) перешел из упраздненного ОГПУ в состав Главного управления государственной безопасности НКВД. Основными задачами ИНО, как и прежде, оставались:
легальная и нелегальная закордонная разведка; борьба с антисоветскими эмигрантскими террористическими организациями в стране и за рубежом;
выявление интервенционистских планов буржуазных государств;
вскрытие шпионской деятельности иностранных спецслужб и эмигрантских центров и других антисоветских организаций на территории СССР (совместно с другими отделами ГУГБ НКВД);
получение агентурным путем новых технологий для советской промышленности (научно-техническая разведка);
контрразведывательное обеспечение советских колоний и загранучреждений.
Еще с 1930 года был определен общий штат центрального аппарата ИНО в 121 человек. Согласно основным направлениям разведдеятельности в отдел входило восемь отделений:
1- е — нелегальная разведка;
2- е — вопросы выезда и въезда в СССР;
3- є — разведка в США и основных странах Европы;
4- е — разведка в Финляндии и странах Прибалтики;
5- е — работа по белой эмиграции;
6- е — разведка в странах Востока;
7- е — экономическая разведка;
8- е — НТР (научно-техническая разведка).
Возглавил Иностранный отдел ГУ ГБ ветеран органов ВЧК — ГПУ Артур Христианович Артузов, руководивший до этого внешней разведкой ОГПУ. Для более тесной координации разведывательных действий за рубежом А. X. Артузов в мае 1934 года был по совместительству назначен заместителем начальника Разведуправления Красной Армии (РККА). Начальником нелегальной разведки (1-е отделение) стал Н. И. Эйтингон.
В связи с изменением внешнеполитической обстановки изменились и приоритеты внешней разведки: белоэмигрантское движение перестало представлять первостепенную угрозу для СССР, важнейшими направлениями работы разведки стало создание надежной агентуры внедрения на жизненно важных объектах буржуазных стран, способной добывать информацию политического, экономического и научно-технического характера; вскрытие шпионской и подрывной деятельности и планов в отношении СССР со стороны иностранных спецслужб и эмигрантских организаций; контроль за пребыванием в стране иностранцев; усиление контрразведывательного обеспечения советских загранпредставительств. Была изменена и структура центрального аппарата — в И НО вошли два отдела и два самостоятельных отделения:
1- й отдел, в который входило девять географических секторов, руководил закордонной разведкой;
2- й отдел ведал внешней контрразведкой и состоял из шести секторов, которые занимались борьбой с диверсиями, террором, шпионажем зарубежных спецслужб и белоэмигрантских центров на территории СССР.
После окончательного перехода корпусного комиссара А. X. Артузова в военную разведку в мае 1935 года на посту начальника И НО его сменил комиссар ГБ 2-го ранга Абрам Аронович Слуцкий.
25 декабря 1936 года отделам ГУГБ была присвоена нумерация. ИНО стал 7-м отделом ГУГБ НКВД СССР.
17 февраля 1938 года А. А. Слуцкий был найден мертвым в кабинете замнаркома НКВД Μ. П. Фриновского, по официальной версии — смерть наступила в результате острой сердечной недостаточности, однако, согласно версии большинства историков, начальник внешней разведки был отравлен. После него обязанности руководителя отдела исполнял майор ГБ Сергей Михайлович Шпигельглас, а затем — старший майор ГБ Зальман Исаевич Пассов.
9 июня 1938 года, в связи с расформированием ГУГБ, служба внешней разведки вошла во вновь созданное Первое управление (госбезопасности) НКВД СССР как 5-й отдел.
Большую помощь республиканской Испании оказала разведка органов госбезопасности. По ее каналам была налажена доставка республиканцам оружия, боеприпасов, военной техники, переправка добровольцев, вывоз из Испании женщин, детей и раненых. В тылу франкистских войск проводились разведывательно-диверсионные операции.
Высокой оценки в 30-е годы заслуживала работа нашего разведчика в Европе Дмитрия Быстролетова. Он сумел добыть шифры Англии, Франции и Чехословакии, что давало возможность читать шифрованную переписку этих стран и получать достоверную информацию по многим вопросам европейской политики.
С приходом к власти в Германии фашизма и образованием антисоветской «оси» Берлин — Рим — Токио внимание советской разведки было направлено на вскрытие планов подготовки войны против СССР, добычу информации о вооружениях потенциального противника. Для решения этих задач разведка располагала немалыми возможностями. У нас, как выше отмечалось, имелись надежные источники информации в нацистской партии, полицейских органах, военно-политических и экономических кругах Германии, в окружении итальянского диктатора Муссолини, в информированных кругах Японии.