В. Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был сотрудник гестапо Вилли Леман («Брайтенбах»). Именно он стал одним из прототипов полковника Исаева-Штирлица в знаменитой повести Юлиана Семенова «Семнадцать мгновений весны». «Брайтенбах» возглавлял отдел гестапо по борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От него регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. Так, в 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с ним продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и был одним из самых результативных ее источников. В декабре 1942 года в результате провала «Брайтенбах» был арестован гестапо и расстрелян.
Другим ценным источником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он, тем не менее, критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.
Елизавета восстановила в Берлине связь с «Ханум», которая к тому времени работала в центральном аппарате гитлеровского МИД. Она передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну. Получаемые от «Ханум» материалы позволяли перепроверять сведения, поступавшие от «Вальтера», а также существенно их дополняли. Однако через некоторое время «Ханум» заболела и вскоре умерла. Лиза сумела найти ей замену в лице скромного служащего МИД Германии, который работал в дальнейшем под псевдонимом «Винтерфельд». Весной 1936 года Е. Зарубина обучила «Винтерфельда» технике фотографирования документов микроаппаратом, и вскоре он стал передавать советской разведке копии секретных шифротелеграмм и другие важные документы германского внешнеполитического ведомства.
В агентурной сети нелегальной резидентуры в Берлине были лица, тесно связанные с влиятельными кругами нацистской партии. Благодаря этим связям Центр получал сведения о доверенных лицах национал-социалистической партии в германских представительствах в СССР, а также о деятельности нацистского партийного аппарата, включая и разведывательную, так как НСДАП располагала собственной партийной разведкой. Центр также регулярно получал данные о тайных внешнеполитических замыслах нацистского руководства. Информация нелегальной резидентуры, возглавляемой В. Зарубиным, неизменно получала высокую оценку его кураторов на Лубянке. Из потока информации, направлявшейся резидентурой, следовал вывод о неизбежности военного столкновения с Германией в ближайшие годы.
В середине 1937 года нелегалы Зарубины были направлены на несколько месяцев в США для выполнения нового важного задания. В связи с реальной угрозой гитлеровского нападения на СССР Центр принял решение реорганизовать деятельность внешней разведки. При этом упор делался на подготовку к работе в чрезвычайных условиях. Разведчикам предстояло подобрать агентуру из числа американцев для возможной работы в Германии в военный период. В этом плане большой интерес представляли лица, которых можно было бы использовать в качестве курьеров-связников. С поставленной задачей разведчики успешно справились. Ими были завербованы три агента, среди которых выделялась «Елена». Она ненавидела нацистский режим в Германии и согласилась сотрудничать с советской разведкой на этой основе. В дальнейшем «Елена» поступила на учебу в аспирантуру Берлинского университета и выполняла роль курьера нелегальной разведки.
За успешную работу в нелегальной разведке В. Зарубин в конце 1937 года был награжден орденом Красного Знамени.
В конце 1937 года в связи с бегством в США резидента НКВД в Испании А. Орлова, лично знавшего нелегалов Зарубиных по их работе во Франции, они были отозваны в Москву и работали в центральном аппарате разведки. В этот период массовые репрессии, получившие название «ежовщина», привели к уничтожению большого числа сотрудников советской внешней разведки. Однако, к счастью, волна репрессий не затронула В. Зарубина и его жену.