Другим ценным помощником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он тем не менее критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей Третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.
В Берлине «Вардо» восстановила связь с «Ханум», бывшей стенографисткой германского посольства в Париже, которую она завербовала, работая во Франции. Теперь «Ханум» работала в центральном аппарате гитлеровского МИДа и передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну. Однако через некоторое время «Ханум» заболела и вскоре умерла. «Вардо» нашла ей замену в лице скромного служащего МИД Германии, который работал в дальнейшем под псевдонимом «Винтерфельд» и имел доступ к секретной, в том числе шифрованной, переписке. Весной 1936 года разведчица обучила немца технике фотографирования документов микроаппаратом, и вскоре он стал передавать советской разведке копии секретных шифртелеграмм и других важных документов германского внешнеполитического ведомства.
В агентурной сети нелегальной резидентуры в Берлине были лица, тесно связанные с влиятельными кругами нацистской партии. Благодаря этим связям Центр получал сведения о доверенных лицах национал-социалистической партии в германских представительствах в СССР, а также о деятельности нацистского партийного аппарата, включая и разведывательную, так как НСДАП располагала собственной партийной разведкой. Центр также регулярно получал данные о тайных внешнеполитических замыслах нацистского руководства. Информация нелегальной резидентуры, возглавляемой Зарубиным, неизменно получала высокую оценку его кураторов на Лубянке. Из потока информации, направлявшейся резидентурой, следовал вывод о неизбежности военного столкновения с Германией в ближайшие годы.
В середине 1937 года нелегалы Зарубины были направлены на несколько месяцев в США для выполнения нового важного задания. В связи с реальной угрозой гитлеровского нападения на СССР Центр принял решение реорганизовать деятельность внешней разведки. При этом упор делался на подготовку к работе в чрезвычайных условиях. Разведчикам предстояло подобрать агентуру из числа американцев для возможной работы в Германии в военный период. С поставленной задачей разведчики успешно справились. Ими были завербованы три агента, которых в дальнейшем нелегальная разведка активно использовала в качестве курьеров-связников.
За успешную работу в нелегальной разведке Зарубин в 1937 году был награжден орденом Красного Знамени. «Вардо» было присвоено звание капитана государственной безопасности (соответствовало званию подполковника в Красной армии).
В конце 1937 года в связи с бегством в США резидента НКВД в Испании А. Орлова, лично знавшего нелегалов Зарубиных по их работе во Франции, они были отозваны в Москву и стали работать в центральном аппарате разведки.
В середине 1940 года «Вардо» срочно выехала в командировку в Германию. Она прибыла в берлинскую «легальную» резидентуру с советским паспортом на имя Елизаветы Горской. «Вардо» предстояло восстановить ранее утерянную связь с ценным источником советской разведки «Августой» – женой высокопоставленного гитлеровского дипломата, посла по особым поручениям германского внешнеполитического ведомства. Завербованная в начале 1930-х годов в Берлине советским разведчиком-нелегалом «Августа» по его заданию фотографировала служебные документы своего мужа. Однако в связи с внезапным отъездом разведчика на родину в 1939 году связь с «Августой» прекратилась. «Вардо» удалось убедить немку продолжить сотрудничество с советской разведкой. В Центр от нее вновь стала поступать важная информация. Буквально накануне нападения Германии на Советский Союз «Вардо» договорилась с «Августой» об условиях связи с ней в особый период.
В апреле 1941 года «Вардо» по заданию Центра восстановила связь с женой другого крупного нацистского дипломата, завербованной органами госбезопасности в Москве. Выдавая себя за немку, «Вардо» провела две встречи с этой женщиной и добилась от нее согласия на продолжение сотрудничества, теперь уже в Берлине. Вскоре от этого источника была получена важная информация о близящемся нападении Германии на СССР, которая немедленно была доложена наркому госбезопасности Меркулову. Эту же информацию подтвердил «Брайтенбах».