Стоит напомнить, что уже с первых месяцев существования Советской власти органами ВЧК предпринимались попытки вести разведывательную работу за рубежом. В начале 1918 года лично Ф. Э. Дзержинский завербовал бывшего издателя буржуазной газеты «Деньги» А. Ф. Филиппова, который был направлен им на работу в Финляндию. Еще один нелегал под именем Р. К. Султанов (подлинное его имя до сих пор неизвестно) обосновался в Турции. В декабре 1918 года были созданы Особые отделы ВЧК в армии и на флоте, выполнявшие контрразведывательные функции. С августа 1919 года их возглавил лично Дзержинский, а несколько позднее — В. Р. Менжинский.
В апреле 1920 года внутри Особого отдела ВЧК появилось специальное подразделение — иностранное отделение. Осенью того же года, в связи с крупными просчетами советской разведки во время войны с Польшей, появилось постановление Политбюро ЦК РКП(б) о кардинальной реорганизации отделения. Была создана специальная комиссия, в которую вошли И. В. Сталин, Ф. Э. Дзержинский и другие видные деятели партии. В соответствии с рекомендациями комиссии 20 декабря 1920 года Дзержинский подписал приказ № 169 о создании уже самостоятельного Иностранного отдела Всероссийской чрезвычайной комиссии (ИНО ВЧК).
С этого момента дело внешней разведки было сконцентрировано в одном центре. Для работы стали подбирать специальные кадры. Первым руководителем ИНО был назначен дипломат Я. X. Давтян (Давыдов). С 1921 по 1922 год разведку возглавлял С. Г. Могилевский. Отныне от эпизодических посылок малоподготовленных агентов перешли к организации зарубежных резидентур. Разведкой стали заниматься профессионально.
В феврале 1922 года ВЧК была упразднена и вместо нее создано ГПУ при НКВД. После создания Союза Советских Социалистических Республик ГПУ было преобразовано в ОГПУ при СНК СССР. Иностранный отдел вошел в состав созданного ОГПУ Секретно-оперативного управления. С 1922 года ИНО возглавил М. А. Трилиссер. Вместе с ним в разведку пришла большая группа большевиков с опытом подпольной борьбы в царское время и в период гражданской войны. С. Г. Вележев и A.B. Логинов (Бустрем) стали заместителями Трилиссера. Остальные — Я. Минскер, А. Нейман, Я. Бодеско, А. Мюллер и другие — стали ответственными работниками отдела. ИНО был значительно расширен и укреплен опытными кадрами. К 1930 году центральный аппарат отдела достигал 70 человек, общий штат насчитывал 122 человека, из них 62 — сотрудники резидентур за рубежом.
В январе 1923 года по предложению заместителя председателя ГПУ И. С. Уншлихта для ведения активной разведки было создано специальное Бюро по дезинформации. В Дезинформбюро вошли представители от ЦК РКП(б), НКИД, РВСР, а также от Разведупра штаба РККА.
Осенью 1925 года Ф.Э. Дзержинский предложил создать при И НО ОГПУ отдел научно-технической разведки, как особый орган по добыванию информации о технических достижениях за границей. Вскоре такое подразделение было создано, ас 1930 года его работой в Центре стало заниматься 8-е отделение И НО.
В 20–30-е годы разведка добывала информацию о планах и намерениях противников СССР, способствовала прорыву политической изоляции и экономической блокады, предпринимавшейся западными странами, добывала научно-техническую и экономическую информацию, нейтрализовала подрывную деятельность белоэмигрантских организаций и иностранных спецслужб.
Между тем работа Павла Судоплатова в отделе кадров ОГПУ продолжалась недолго. Случилось так, что сотрудник Кулинич, отвечавшая за наблюдение и борьбу с украинской эмиграцией, подала рапорт об отставке по состоянию здоровья. Начальник Иностранного отдела A. X. Артузов, узнав, что Судоплатов родом с Украины и имеет опыт работы в местных условиях, предложил ему занять вакантную должность.
— Вы встречались с этой публикой не только на фронте, но и в условиях подполья. Знаете их повадки, поэтому, как говорится, вам и карты в руки, — сказал ему Артур Христианович.
Павел Судоплатов ответил согласием.
Новое назначение оказалось крайне ответственным. Организация украинских националистов (ОУН) — противник, с которым отныне поручалось иметь дело Судоплатову, был стоглаз, столап, коварен и жесток.