Внешняя разведка с первых дней своего существования работала в тесном контакте с Наркоминделом. Ее первый исполняющий обязанности начальника Яков Христофорович Давтян одновременно возглавлял отдел Прибалтийских стран и Польши НКИД, но руководил отделом (под фамилией Давыдов) лишь три месяца, с декабря 1920 по январь 1921 года, после чего перешел на дипломатическую работу. Его место занял Рубен Павлович Катанян, однако ненадолго: в апреле Давыдов возвратился в разведку, был утвержден начальником ИНО и проработал на этом посту до августа 1921 года.
В дальнейшем он занимал различные должности в полпредствах СССР в Литве, Китае, Франции, Иране, Греции и Польше и одновременно возглавлял загранточки, причем в Китае являлся главным резидентом ИНО и руководил работой аппаратов в Пекине, Шанхае и Харбине. Позднее Давтян перешел на административную и хозяйственную работу, а в 1938 году разделил судьбу многих своих коллег и был расстрелян по ложному обвинению. На посту начальника отдела Давыдова сменил работник московской контрразведки Соломон Григорьевич Могилевский, однако и он не задержался там надолго, а в мае 1922 года был откомандирован одновременно на должности полпреда ГПУ в Закавказье, председателя Закавказской ЧК и командующего пограничными и внутренними войсками ЗСФСР. 22 марта 1925 года при невыясненных обстоятельствах он погиб в авиакатастрофе вместе с кандидатом в члены ЦК, секретарем Закавказского крайкома РКП (б) А. ф. Мясниковым и заместителем наркома Рабоче-крестьянской инспекции Г. А. Атарбековым.
Я. X. Давтян
Относительно долголетним начальником внешней разведки являлся Меер Абрамович Трилиссер, возглавлявший ее с мая 1922 по октябрь 1929 года, а до 1930 года продолжавший курировать ее в ранге заместителя председателя ОГПУ, полученном им еще в 1926 году.
При нем ИНО развернул полномасштабные операции и стал серьезной и опасной для противников разведывательной службой. В 1930 году Трилиссер не выдержал конкуренции с Ягодой и был откомандирован на должность заместителя председателя Рабоче-крестьянской инспекции, а с 1935 года стал секретарем и членом президиума Исполнительного комитета Коминтерна (ИККИ), где работал под именем Ивана Михайловича Москвина. Репрессии настигли его несколько позднее основной массы чекистов, он был арестован и расстрелян лишь в 1940 году. Преемником Трилиссера в ИНО с 27 октября 1929 года стал Станислав Адамович Мессинг, ранее руководивший госбезопасностью в Петрограде и входивший в состав Коллегии ОГПУ. Он не оставил заметного следа в работе внешней разведки, вероятно, по причине своего недолгого нахождения на этом посту, на протяжении по крайней мере половины которого фактическое руководство ИНО сохранял Трилиссер.
С. Г. Могилевский
М. А. Трилиссер
С. А. Мессинг
Как уже отмечалось, 25 июля 1931 года Мессинг вместе с группой других высокопоставленных чекистов оказался изгнанным Ягодой из ОГПУ и был откомандирован в распоряжение наркомата водного транспорта СССР. В 1937 году его расстреляли по обвинению в работе на польскую разведку. Следующим руководителем ИНО стал Артур Христианович Артузов, возглавлявший его до мая 1935 года. Иностранный отдел неоднократно менял свою структуру и штаты. В первой половине 1920-х годов она выглядела следующим образом:
— закордонное отделение с канцелярией;
— бюро виз;
— стол въезда;
— стол выезда;
— стол въезда и выезда эшелонами;
— стол приема заявлений;
— общая канцелярия.
В этот период ключевой фигурой в структуре внешней разведки являлся резидент, имевший право осуществлять вербовки источников без санкции Москвы. Несколько позднее Центр постепенно стал ограничивать самостоятельность закордонных разведаппаратов, и первым шагом на этом пути стало образование в ИНО шести секторов для руководства резидентурами: Северного, Польского, Центрально-Европейского, Южно-Европейского и Балканских стран, Восточного и Американского. На Востоке непосредственной организацией разведывательной деятельности занимались аппараты полпредств ОГПУ в закрепленных за ними районах.
На протяжении 1920-х годов главным объектом ИНО оставались эмигрантские организации, однако постепенно такое положение дел становилось анахронизмом. Ухудшившееся после 1927 года международное положение СССР, временами создававшее угрозу войны, требовало принципиально изменить подход к ведению закордонной разведки и направить ее в первую очередь против иностранных государств, в особенности Великобритании, Франции, Германии, Польши, Румынии, Японии, Финляндии и Прибалтийских стран. В связи с этим Политбюро ЦК ВКП(б) в начале 1930 года обратило на ИНО особое внимание. Постановление от 5 февраля увеличивало ассигнования на оперативную работу за рубежом до 300 тысяч рублей золотом и ограничило район деятельности отдела конкретным рядом государств: Великобританией, Францией, Германией (центр), Польшей, Румынией, Японией и лимитрофами. Задачи, стоящие перед внешней разведкой, были предельно конкретизированы: