2 ноября 1932 года начальник ИНО ОГПУ А.Х. Артузов подписал распоряжение о реорганизации внешней разведки. В нем, в частности, говорилось: «Перестроение всей агентурно-оперативной деятельности провести на основе возможного переключения всей работы в случае каких-либо осложнений с “легальных” рельс (берлинская резидентура) исключительно на подполье». Необходимость такой реорганизации была вызвана тем, что после относительно благоприятной обстановки для деятельности советских учреждений в Европе в предшествовавшее десятилетие в ряде европейских стран наметилась тенденция к ужесточению режима пребывания работников советских представительств, в том числе и сотрудников внешней разведки.
Следует отметить, что к середине 1930-х годов на Западе усилились антифашистские настроения. Не только простые люди, но и представители высших кругов общества, демократической интеллигенции смотрели в то время на Советский Союз с надеждой, как на силу, которая может противостоять фашизму и агрессии.
Именно на таких людей опиралась советская внешняя разведка, искала и находила среди них тех, кто соглашался на сотрудничество по политическим и идейным соображениям. Яркими примерами этого служили знаменитая «Кембриджская пятерка» и представители «Красной капеллы».
Решение сложнейших задач, стоявших в 1930-е годы перед советской разведкой, потребовало мобилизации всех ее внутренних резервов, укрепления материальной базы и кадров, постоянной корректировки конкретных целей. Правительство, как и в предыдущие годы, уделяло самое серьезное внимание повышению ее эффективности. Так, в 1934 году на заседании правительства были рассмотрены вопросы об улучшении работы ИНО ОГПУ и Разведывательного управления РККА и о координации их деятельности.
10 июля 1934 года постановлением ЦИК СССР был образован Народный комиссариат внутренних дел (НКВД), в который вошли ряд главков, в том числе Главное управление государственной безопасности (ГУГБ). Иностранный отдел стал 5-м отделом ГУГБ НКВД СССР. Его задачи правительство определило следующим образом: «Выявление направленных против СССР заговоров и деятельности иностранных государств, их разведок и генеральных штабов, а также антисоветских политических организаций; вскрытие диверсионной, террористической и шпионской деятельности на территории СССР; руководство деятельностью закордонных резидентур».
Несмотря на обрушившиеся на разведку репрессии, она продолжала вести активную работу по освещению деятельности правящих кругов ведущих капиталистических стран Европы, США и Японии и частичному срыву их планов и мероприятий, направленных против СССР.
Немало полезного сделала советская разведка в эти годы в Испании. Она систематически получала сведения о поддержке франкистов Германией и Италией. В соответствии с личным указанием Сталина разведка организовала переброску в Испанию нескольких сотен советских добровольцев-интернационалистов. Этот контингент интербригадовцев с большой отдачей использовался в качестве инструкторов военного дела в учебных центрах, руководителей разведывательно-диверсионных групп, бойцов охраны важных объектов, а также военных переводчиков. После падения республиканского правительства советские разведчики способствовали спасению от неминуемой физической расправы многих бойцов и командиров интернациональных бригад.
За образцовое и самоотверженное выполнение заданий по оказанию помощи республиканской Испании постановлением ЦИК СССР 13 ноября 1937 года группа сотрудников НКВД была отмечена орденами. Среди них были и сотрудники внешней разведки. Орденом Ленина были награждены Г.С. Сыроежкин, К.П. Орловский и Я.И. Серебрянский, орденом Красного Знамени – Н.И. Эйтингон и Н.А. Прокопюк, орденом Красной Звезды – А.М. Рабцевич.
3 октября 1938 года нарком внутренних дел издал приказ о создании Школы особого назначения (ШОН) для централизованной подготовки разведывательных кадров. Слушатели школы набирались в основном из гражданских лиц, имеющих высшее образование. Первым начальником ШОН был В.Х. Шармазанашвили. С помощью оперативных работников центрального аппарата внешней разведки, за плечами которых были многие годы напряженной и результативной деятельности за границей, руководству школы удалось в сжатые сроки организовать учебный процесс. Первыми преподавателями ШОН были П.М. Журавлев, В.М. Зарубин, В.И. Пудин, П.А. Судоплатов и другие опытные разведчики. Первые выпускники ШОН сыграли заметную роль в активизации разведывательной работы накануне и в годы Великой Отечественной войны.
В предвоенный период разведчикам удалось создать серьезные агентурные позиции в госаппарате и спецслужбах Германии, Англии, Японии, Италии и некоторых других стран. Добытые ими материалы раскрывали приготовления Германии и Японии к войне против Советского Союза, истинную роль правящих кругов Англии, Франции и США по отношению к СССР.