Советы также добились выдающихся успехов в вербовке агентов — в том числе шпионов, чья величайшая ценность сказалась во время первого десятилетия холодной войны. Генерал Берзинь снова сыграл ключевую роль, приспособив методы, разработанные ЧК/ГПУ/ОГПУ в двадцатых годах для инфильтрации в иммигрантские группы белогвардейцев, к новым объектам — бюрократическим аппаратам иностранных правительств, в том числе их разведслужбам. И хотя тридцатые годы начались с того, что белогвардейцы и троцкистские группировки были высшим приоритетом иностранного отдела ОГПУ (ИНО), Берзинь настоял на том, чтобы сбору иностранных разведданных уделяли более пристальное внимание, и эту позицию вскоре приняло ОГПУ/ГУГБ.
Наиболее успешным нелегалом Берзиня был немец Рихард Зорге. Зорге, родившийся в 1895 году на Кавказе, посещал школу в Берлине, был ранен во время Первой мировой войны, разруха развеяла его иллюзии, и он присоединился к революционному крылу рабочего движения. Успехи большевиков в России убедили его "поддерживать движение не только теоретически, но и стать реальным его участником".
После войны он получил степень доктора философии в политических науках в Гамбургском университете. В конце 1924 года Зорге перебрался в Москву, где вскоре получил советское гражданство и начал работать на отдел международных связей (ОМС) Коммунистического интернационала. С 1927 по 1929 год его посылали с рядом политических разведывательных миссий в Германию и, возможно, в Англию и Скандинавию.
В 1929 году Берзинь завербовал Зорге в 4-й отдел и отправил его в Шанхай, чтобы тот сплотил и расширил китайскую агентурную сеть отдела. Там он завербовал Хоцуми Озаки — японского журналиста, ставшего его самым ценным информатором. Озаки, юный идеалистический марксист из богатой семьи, располагавшей великолепными связями с японским правительством, был идеальным агентом. Когда Зорге вернулся в Москву, Берзинь лично похвалил его за его достижения в Китае. Следующей остановкой Зорге стал Токио, но сначала он провел несколько месяцев в Германии, чтобы утвердить легенду о работе в качестве журналиста и стать истинным членом нацистской партии. Зорге добился таких успехов, что его прощальный банкет в Берлине посетил шеф пропаганды доктор Йозеф Геббельс.
Когда Зорге прибыл в Токио, Сталин все еще боялся японской агрессии. Вторгшись в Маньчжурию, Япония захватила контроль над длинным сухопутным отрезком границы с Советским Союзом. В итоге Зорге была дана инструкция "весьма внимательно изучить вопрос о том, планирует Япония нападение на СССР или нет". После своего ареста в 1941 году Зорге написал, что "это было наиболее ответственное за многие годы задание, порученное мне и моей группе, но было бы большой ошибкой назвать его единственной целью моей миссии в Японии…".
Зорге пользовался немецким посольством в своих разведывательных операциях весьма основательно, втеревшись в доверие вскоре по прибытии. Наиболее важным и близким контактом в посольстве у Зорге был полковник Ойген Отт, военный атташе с 1934 года, и его жена, одна из множества половых партнерш Зорге. Благодаря Отту Зорге получил доступ к изрядному объему сведений о японских вооруженных силах, которые Отт передавал в Берлин вместе с многочисленными документами по поводу немецкой политики на Дальнем Востоке. Начиная с апреля 1938 года, когда Отт стал послом, они с Зорге каждое утро вместе завтракали, Зорге вкратце посвящал его в японские дела и даже готовил ему наброски некоторых донесений в Берлин.
А тем временем Озаки получил более широкий доступ к внутренней информации касательно японской политики, став советником принца Конноё, ведущего японского государственного деятеля. К концу 1935 года он мог поставлять Зорге фотокопии плановых документов на 1936 год, указывавших, что Япония вряд ли сможет в ближайшее время напасть на Россию.
Опираясь на помощь Хоцуми, Зорге смог с опережением в несколько недель предсказать военный мятеж в феврале 1936 года и японское вторжение в Китай в июле 1937 года и уверил советских военачальников, что участвующие в боевых действиях войска направляются на юг, а не к Сибири. Зорге также передал подробности антикоминтерновского пакта за месяц до его публикации, дополнив информацию, добытую советскими радиоразведывательными операциями.
Зорге был лишь одним из множества агентов, завербованных советской разведкой в тридцатые годы. Наибольших успехов, насколько известно, Советы добились в Британии. И в самом деле, полный объем внедрения советской агентуры в Британии неизвестен и по сей день. К примеру, личности агентов под кодовыми именами Профессор (Professor), Медведь (Bear), Атилла (Atilla) и Преемник (Successor) так и не были оглашены.
Советские разведывательные операции против Британии сильно продвинулись в 1929 году, когда шифровальщик Министерства иностранных дел Эрнест Холлоуэй Олдэм, явившись в советское посольство в Париже, передал военному атташе шифр.