В 1920 году демобилизовался по болезни. Работал заместителем начальника административного управления Наркомпроса, затем в тресте «Моссукно». В 1924 году окончил юридический факультет МГУ. В начале 1925 года поступил на работу в наркомат внешней торговли и уже в феврале того же года, как в совершенстве владевший немецким языком, был направлен в советское торгпредство в Германии. В Берлине был привлечен к сотрудничеству с советской внешней разведкой. В 1929 году отозван в Москву с целью подготовки для работы с нелегальных позиций и последующего направления в нелегальную резидентуру в Германию. В том же году стал кадровым сотрудником разведки.
В 1930 году Парпаров вместе с женой и сыном вернулся в Берлин, где, согласно разработанной в Центре легенде, объявил себя невозвращенцем, заявил о разрыве с советской властью и получил вид на жительство как лицо без гражданства. Для легализации своей деятельности он открыл в Берлине экспортную контору. Позднее им были открыты филиалы этой фирмы в ряде европейских стран, а также в Северной Африке, Турции, Иране и Афганистане, что создавало надежное прикрытие для разведывательных поездок. После завершения легализации Парпарова Центр создал под его началом агентурную группу, которая затем была преобразована в самостоятельную резидентуру.
В 1931 году Парпаров поместил в берлинской газете следующее объявление: «Молодой предприниматель ищет партнершу для совместного времяпрепровождения и помощи в журналистской работе. Полная конфиденциальность гарантируется». Через две недели на его имя поступило письмо. В нем незнакомая женщина писала: «Хотела бы познакомиться с вами, если вы обладаете такой скромностью, как заверяете. Я из лучшего берлинского общества, куда и вас охотно введу, когда мы познакомимся. Я замужем, но часто бываю одна, так как слишком честна. Вы должны сами решить, хотите ли познакомиться со мной. Как только вы ответите, вы узнаете, кто я. Конечно, доверие необходимо».
Предложение было многообещающим, и разведчик решил действовать. Он встретился с женщиной в кафе. Завязалась оживленная беседа. Женщина, которая впоследствии получила оперативный псевдоним «Марта», рассказала, что ее муж является ответственным чиновником МИДа Германии. Вскоре между молодыми людьми установились приятельские отношения. Из бесед с «Мартой» разведчик узнал, что она страдает от одиночества в связи с постоянными командировками мужа. К тому же время от времени она бывает стеснена в средствах и рассчитывает на дополнительный приработок.
Проведенная проверка «Марты» дала положительные результаты. Сведений о ее сотрудничестве с германскими спецслужбами получено не было.
Несмотря на то что «Марта» была женой высокопоставленного чиновника МИДа Германии, Центр не торопился ставить задания разведчику по организации доступа к имеющимся в распоряжении немца мидовским документам. Между тем встречи оперработника с немкой продолжались, доверие «Марты» к нему росло.
Вскоре Парпаров под предлогом оказания ему помощи в журналистской работе попросил «Марту» подготовить обзор на основе материалов ее мужа к сессии Лиги Наций. Соответствующую справку она составила и передала оперработнику. Информация, направленная в Москву, получила положительную оценку Центра. В заключении Центра отмечалось: «Предварительное ознакомление с первыми полученными от “Марты” материалами свидетельствует о том, что мы имеем дело, по-видимому, с серьезным источником».
Через некоторое время Центр санкционировал вербовку немки под «чужим флагом». Она легко согласилась с предложением оперработника подзаработать на продаже документов ее мужа какому-либо иностранному государству. Так состоялась вербовка «Марты» на флаг Японии. В отчете в Центр оперработник писал: «Договорились о том, что она будет изымать документы из досье мужа или переписывать их…»
С целью усиления безопасности в работе Парпаров обсудил с «Мартой» возможность перефотографирования документов мужа, которые тот брал домой для работы. Был куплен фотоаппарат, и Парпаров научил немку пользоваться им. Для легендирования наличия у нее фотоаппарата «Марта» стала говорить окружающим о своем увлечении фотографией.
Тем временем к власти в Германии пришли нацисты. Поступавшая от «Марты» информация однозначно свидетельствовала о том, что главной целью агрессии Германии в Европе станет Советский Союз. В этой связи получаемые от нее документальные материалы становились все более важными. Ведь муж «Марты» присутствовал практически на всех совещаниях руководящего состава министерства.
«Марта» не принимала нацизм, критически относилась к гитлеровскому режиму. По роду службы ее муж участвовал во всех международных конференциях, на которых присутствовала делегация Германии. К удовольствию мужа «Марта» стала сопровождать его в зарубежные поездки. Она использовала их для получения актуальной информации, которая имела особое значение для Москвы.