Так Треппер стал членом небольшой группы объединенных общей судьбой польско-еврейских коммунистов. Большинство из них училось в польских университетах, оказалось вовлеченными в революционную борьбу и затем перебралось в Палестину. Земля обетованная их совсем не привлекала. Представитель среднего класса Леон Гроссвогель, клерк Хилиль Кац, рабочий Альтер Стрем и секретарша София Познанская — никто из них не хотел оставаться в Палестине, все горели желанием вернуться в Европу, на поля революционной борьбы.
Но как выбраться из этой опаленной солнцем пустыни, которая никому из них не нравилась? Дорога была открыта — поступить на службу в Коминтерн или советскую разведку. Проложил этот путь для своих друзей один из группы студент-механик Исайя Бир.
Он выбрал Разведупр, отправился во Францию и начал работать информатором на химической фабрике, а затем создал рабкоровскую сеть, снабжая Советы данными о французской промышленности. Инструкции Бир получал через редакцию коммунистической газеты «Юманите» или местные организации французской компартии. К 1929 году он настолько упрочил свое положение в советской разведке, что вызвал из Палестины старого приятеля, Альтера Стрема, который стал у него помощником и в свою очередь позвал своих друзей, объединив их в разведывательную сеть Бира. Треппер прибыл в 1930 году, вскоре открыл у себя талант прирожденного разведчика и быстро вырос до самого удачливого коллеги Бира.
Треппер жадно поглощал поучения Бира, который вскоре сделал его специалистом по прикрытию своих маршрутов. Он научился искусству перевоплощения, способам обмана противника и мог вывернуться из самого затруднительного положения. Среди сыщиков парижского Сюрте Бир не зря получил прозвище «Фантомас». Он мог появляться и исчезать, как привидение. Казалось, ему были известны черные ходы всех домов Парижа, каждый подвал, каждый чердак; он постоянно ускользал от преследователей, которым оставалось только гадать по поводу его истинного лица. Когда в июне 1932 года его все-таки схватили, полиция была разочарована: вместо ожидаемого супершпиона перед ними оказался скромный студент, руководивший чем-то вроде молодежного шпионского клуба: в свои 28 лет Треппер был у них самым старшим.
Находясь под арестом, Бир и его агенты общались с чиновником Сюрте Шарлем Биде. Им стало ясно, что их организация пала жертвой главного бича коммунистических шпионских организаций — предательства одного из своих членов, который выдал полиции адрес Бира и устроил встречу, на которой «Фантомаса» арестовали. В конце 1933 года Бир, Стрем и пятеро других агентов были приговорены парижским судом к трем годам заключения. Вырваться из когтей полиции удалось только одному — Леопольду Трепперу.
Он отправился в Берлин, где находился центр разведывательной службы, отвечавшей за Францию, и рассказал о провале. Люди из Разведупра посадили его в поезд до Москвы, велев оставаться на месте, пока все пассажиры не сойдут на перрон и ему не представиться кто-нибудь из управления. Треппер, он же Лейба Домб, сделал, как ему сказали, и так начал свою карьеру в Разведупре. Но ему ещё долго пришлось ждать своего часа: могло показаться, что управление просто не могло найти ему применения. Он коротал время за учебой и временной работой. Треппер посещал институт на Покровке, был редактором отдела культуры еврейской газеты «Емет», выходившей на идише, ходил на лекции по разведке в Московской военной академии…
А затем пришло и его время.
В 1936 году членов группы Бира освободили из тюрьмы и они попросили убежища в Советском Союзе. Личность предателя, провалившего шпионскую сеть, все ещё оставалась загадкой. В этом подозревали журналиста Рике, редактора «Юманите», и шестерых членов ЦК Французской компартии, поскольку именно они осуществляли связь между организацией Бира и их московским руководством. С другой стороны нельзя было исключить возможность предательства Альтера Стрема или любого другого члена их группы. Чтобы установить виновных, Управление отправило Треппера во Францию, и тот который использовал все свои способности, чтобы снять подозрения с друзей.
После трудных поисков ответ был найден: Рике предателем не был. Треппер обнаружил, что полицию информировал датский коммунист, принадлежавший к шпионской организации в Соединенных Штатах; во время ареста тот вел себя как двойной агент американской контрразведки. Ничего не подозревавший московский разведцентр перебросил датчанина во Францию, он информировал американцев, а те передавали его сведения Сюрте.
После такого отчета в Управлении потребовали от Треппера доказательств. Ему пришлось снова отправиться во Францию, откуда он вернулся с неопровержимыми документами — письмами провокатора американскому военному атташе в Париже.