Основную нелегальную работу проводил самый крупный отдел исполкома Коминтерна, периодически изменявший свое наименование. После I конгресса Коммунистического Интернационала возникла и некоторое время просуществовала возглавлявшаяся В. И. Кингисеппом слабая и неэффективная Особая комиссия по связи ИККИ. 8 августа 1920 года Малое бюро приняло решение об организации на ее основе Секретного отдела, уже 11 ноября переименованного в Конспиративный отдел. Новым подразделением на первом этапе руководил Д. Бейко, 2 мая 1921 года передавший дела О. Пятницкому. Первоначально в нем имелись четыре подотдела: связи, финансирования, литературный и шифровальный. Они совместно обеспечивали нелегальное перемещение через государственные границы делегатов Коминтерна, литературы и грузов, в том числе оружия, а также занимались организацией финансирования коммунистических партий и поддержанием связи с советскими разведывательными службами. Кроме того, отдел руководил всеми секретными торговыми предприятиями ИККИ. Для решения поставленных задач в нем вскоре была образована собственная курьерская служба, представители которой прикомандировывались к НКИД, НКВТ и практически всем торговым миссиям РСФСР. Однако поток жалоб дипломатов и внешторговцев на работников Коминтерна, выполнявших нелегальные задания и часто дискредитировавших этим официальные государственные органы, вскоре заставил внести изменения в сложившуюся практику. Ее прекращение
— подотдел “пунктов связи”;
— литературный подотдел;
— курьерский подотдел;
— подотдел техники (изготовление поддельных виз, паспортов, бланков, печатей и штампов, а также специальная оперативная техника);
— подотдел финансов (тайное финансирование зарубежных операций);
ОМС располагал также подразделениями, отвечавшими за шифровальную работу, оперативный учет и радиосвязь, однако последнее направление долгое время пребывало в зачаточном состоянии. В 1929 году были организованы новый секретно-инструкторский подотдел и дополнительные “пункты связи” в Тегеране, Гонконге и Сингапуре.