Во время своего кратковременного пребывания в Берлине в сентябре 1929 года Зорге встретился с человеком, который, как он знал, работал в одной из разведывательных служб СССР. Рихард подробно рассказал ему о себе и своем желании работать в структуре, обеспечивающей безопасность Советского государства. Он не скрыл от собеседника своих проблем в Исполкоме Коминтерна и объяснил мотивы своего решения. Через несколько дней этот человек сообщил Зорге, что его обращение в Москве рассмотрено и он приглашается на встречу в IV управление Штаба Красной армии, занимающееся военной разведкой.
Вскоре Рихард получил телеграмму из Коминтерна, в которой ему разрешалось приехать в Москву для переговоров, как он понял, касающихся перехода на новую работу. Вернувшись в Москву и ожидая рассмотрения своего дела на партийном собрании Исполкома, Зорге несколько раз встречался в своем номере в гостинице с сотрудниками военной разведки и подробно рассказывал о себе.
В СССР в 1920-е годы существовали две специальные службы, занимавшиеся ведением разведки за рубежом. При Совнаркоме действовало Объединенное государственное политическое управление (ОГПУ), ставшее преемником ВЧК, в состав которого входил Иностранный отдел (ИНО). Его основными задачами являлись: выявление и разработка зарубежных эмигрантских контрреволюционных организаций, готовящих свержение советской власти; ведение внешней контрразведки и разработка разведывательных и контрразведывательных органов зарубежных стран; ведение политической, дипломатической и экономической разведки. ИНО ОГПУ имел за рубежом легальные резидентуры, которые действовали под прикрытием советских дипломатических представительств и занимались в основном выявлением на территории иностранных государств контрреволюционных организаций, ведущих подрывную деятельность против СССР, и добыванием документальных материалов, в том числе таких, которые могли быть использованы для компрометации лидеров контрреволюционных групп и целых организаций.
В Красной армии также велась зарубежная разведывательная деятельность, за организацию которой отвечало Разведывательное управления Штаба РККА (с 1927 года — IV управление Штаба РККА). Его главная задача заключалась в организации и ведении глубокой агентурной разведки с целью получения информации о международной военно-политической обстановке; военной опасности для СССР; военных приготовлениях вероятных противников Советского Союза и состоянии их вооруженных сил, военно-технических достижениях и новейших изобретениях при создании вооружения и боевой техники. Агентурная работа велась как легальными, так и нелегальными резидентурами, при этом последним отдавался наибольший приоритет.
Ян Карлович Берзин, на встречу с которым шел Рихард Зорге, являлся уникальным специалистом в области разведки. В годы Гражданской войны он прошел школу ВЧК, работал с Ф. Дзержинским; многое знал о деятельности сотрудников ОГПУ за рубежом, особенностях проводившихся ими операций. Судьба распорядилась так, что он возглавил военную разведку Красной армии и вывел ее на уровень лучших мировых спецслужб. Он являлся в полном смысле слова фанатом агентурной работы, лично подбирал и готовил для нее кадры, разрабатывал и контролировал сложнейшие агентурные операции. Берзин отличался способностью глубоко анализировать происходящие в мире события и делать выводы и прогнозы, которые, как правило, подтверждались реальными событиями.
Берзин стал работать в Регистрационном управлении с декабря 1920 года, возглавив его 2-й отдел, отвечавший за агентурную работу. Именно этому виду специальной деятельности в военной разведке уделялось наибольшее внимание. В сложных условиях Гражданской войны агентурной разведке удалось добиться больших успехов. Военные разведчики вскрыли планы и направленность действий белогвардейских войск и формирований иностранных интервентов. Агенты управления действовали в ряде крупных белогвардейских штабов, добывая важную информацию. К концу 1920 года агентурные источники военной разведки работали в шестнадцати капиталистических государствах, направляя в Москву важные сведения об антисоветской деятельности стран Антанты, военных мероприятиях в Прибалтике, Польше, Германии, Румынии, а также о состоянии армий Врангеля, Балаховича, Унгерна и Семенова.
Ян Карлович занимался анализом работы существующей агентуры, исключал из зарубежных сетей недостаточно результативно работавших или вызывавших подозрение лиц. Особое внимание он уделял подбору новых кадров для работы в агентурной разведке за рубежом. В 1921 году Берзина назначили заместителем начальника Разведупра, отвечавшего за агентурную разведку. Вскоре он сам совершил нелегальные поездки за пределы страны для проверки работы резидентур в Германии, Чехословакии, Польше и Англии. В 1924 году Яна Карловича поставили во главе Разведывательного управления Штаба РККА, образованного вместо прежнего Региструпра.