Безусловно, возможность выполнения этих задач силами аппарата, насчитывавшего немногим более ста человек, может показаться сейчас просто нереальной. Тем не менее разведка работала довольно успешно. Выполняя данное постановление, внешняя разведка сумела получить большое количество секретной технической информации по различным отраслям промышленности и видам вооружений.
2 ноября 1932 года начальник ИНО ОГПУ А.Х. Артузов подписал распоряжение о реорганизации внешней разведки. В нем, в частности, говорилось: «Перестроение всей агентурно-оператив-ной деятельности провести на основе возможного переключения всей работы в случае каких-либо осложнений с «легальных» рельс (берлинская резидентура) исключительно на подполье». Необходимость такой реорганизации была вызвана тем, что после относительно благоприятной обстановки для деятельности советских учреждений в Европе в предшествовавшее десятилетие в ряде европейских стран наметилась тенденция к ужесточению режима пребывания работников советских представительств, в том числе и сотрудников внешней разведки.
Следует отметить, что к середине 1930-х годов на Западе усилились антифашистские настроения. Не только простые люди, но и представители высших кругов общества, демократической интеллигенции смотрели в то время на Советский Союз с надеждой, как на силу, которая может противостоять фашизму и агрессии.
Именно на таких людей опиралась советская внешняя разведка, искала и находила среди них тех, кто соглашался на сотрудничество по политическим и идейным соображениям. Яркими примерами этого служили знаменитая «Кембриджская пятерка» и представители «Красной капеллы».
Решение сложнейших задач, стоявших в 1930-е годы перед советской разведкой, потребовало мобилизации всех ее внутренних резервов, укрепления материальной базы и кадров, постоянной корректировки конкретных целей. Правительство, как и в предыдущие годы, уделяло самое серьезное внимание повышению ее эффективности. Так, в 1934 году на заседании правительства были рассмотрены вопросы об улучшении работы ИНО ОГПУ и Разведывательного управления РККА и о координации их деятельности.
10 июля 1934 года постановлением ЦИК СССР был образован Народный комиссариат внутренних дел (НКВД), в который вошли ряд главков, в том числе Главное управление государственной безопасности (ГУГБ). Иностранный отдел стал 5-м отделом ГУГБ НКВД СССР. Его задачи правительство определило следующим образом: «Выявление направленных против СССР заговоров и деятельности иностранных государств, их разведок и генеральных штабов, а также антисоветских политических организаций; вскрытие диверсионной, террористической и шпионской деятельности на территории СССР; руководство деятельностью закордонных резидентур».
Несмотря на обрушившиеся на разведку репрессии, она продолжала вести активную работу по освещению деятельности правящих кругов ведущих капиталистических стран Европы, США и Японии и частичному срыву их планов и мероприятий, направленных против СССР.
Немало полезного сделала советская разведка в эти годы в Испании. Она систематически получала сведения о поддержке франкистов Германией и Италией. В соответствии с личным указанием Сталина разведка организовала переброску в Испанию нескольких сотен советских добровольцев-интернационалистов. Этот контингент интербригадовцев с большой отдачей использовался в качестве инструкторов военного дела в учебных центрах, руководителей разведывательно-диверсионных групп, бойцов охраны важных объектов, а также военных переводчиков. После падения республиканского правительства советские разведчики способствовали спасению от неминуемой физической расправы многих бойцов и командиров интернациональных бригад.
За образцовое и самоотверженное выполнение заданий по оказанию помощи республиканской Испании постановлением ЦИК СССР 13 ноября 1937 года группа сотрудников НКВД была отмечена орденами. Среди них были и сотрудники внешней разведки. Орденом Ленина были награждены Г.С. Сыроежкин, К.П. Орловский иЯ.И. Серебрянский, орденом Красного Знамени — Н.И. Эйтингон и Н.А. Прокопюк, орденом Красной Звезды — А.М. Рабцевич.
3 октября 1938 года нарком внутренних дел издал приказ о создании Школы особого назначения (ШОН) для централизованной подготовки разведывательных кадров. Слушатели школы набирались в основном из гражданских лиц, имеющих высшее образование. Первым начальником ШОН был В.Х. Шармазанашвили. С помощью оперативных работников центрального аппарата внешней разведки, за плечами которых были многие годы напряженной и результативной деятельности за границей, руководству школы удалось в сжатые сроки организовать учебный процесс. Первыми преподавателями ШОН были П.М. Журавлев, В.М. Зарубин, В.И. Пуцин, П.А. Судоплатов и другие опытные разведчики. Первые выпускники ШОН сыграли заметную роль в активизации разведывательной работы накануне и в годы Великой Отечественной войны.