В Нью-Йорк Василий Михайлович и Елизавета Юльевна добирались через Дальний Восток. Их резидентуре предстояло начинать работу в США практически с нуля. До конца апреля 1941 года резидентуру в Нью-Йорке возглавлял Гайк Овакимян. Он прекрасно знал США и хорошо владел английским языком. По прикрытию он являлся инженером-консультантом смешанной советско-американской торговой компании «Амторг». Овакимян сумел завербовать нескольких агентов по линии научно-технической разведки, которые долгие годы успешно сотрудничали с советской разведкой. Однако в апреле 1941 года он был арестован агентами ФБР на месте встречи с одним из своих источников, который оказался подставой. Лишь с началом войны по личному распоряжению президента Рузвельта Овакимян был выпущен из тюрьмы под крупный денежный залог и возвратился в Советский Союз.
Зарубины прибыли в США в январе 1942 года и сразу же активно включились в налаживание разведывательной работы.
На связи у «Вардо» находились двадцать два агента, с которыми необходимо было регулярно встречаться с соблюдением всех мер конспирации, получать от них разведывательную информацию, поддерживать веру в непобедимость Красной армии. И это в тот момент, когда наши войска отступали на всех фронтах. Ее источники были разбросаны по всей громадной территории США, и «Вардо» приходилось часто ездить в Вашингтон, Сан-Франциско и другие города Америки.
«Вардо» руководила работой ценнейшего источника резидентуры, выходца из России Якова Голоса. Он сумел лично завербовать около двух десятков человек. Среди них – «Б», ответственный сотрудник одного из важных министерств страны; «О», поставлявший информацию по вопросам вооружения; «Р», работавший в одном из главных правительственных учреждений, информация от которого была особенно полезна советской разведке в годы войны. К сожалению, 26 ноября 1943 года Яков Голос умер от разрыва сердца.
«Вардо» удалось познакомиться с «отцом американской атомной бомбы» Робертом Оппенгеймером, а также с выдающимся физиком Силардом, работавшим в той же области. То, что разведчица делала в США, еще не было «атомной разведкой», но уже являлось входом на близкие подступы к ней. Основную работу в США по «Манхэттенскому проекту», как были закодированы работы по созданию американской атомной бомбы, проделали другие разведчики. Однако работа «Вардо» на этом поприще привлекла внимание Центра к атомной проблеме. В дальнейшем участие «Вардо» в разведке по атомной проблематике было отмечено орденом Красной Звезды (22 октября 1944 года).
До апреля 1943 года Василий Михайлович был резидентом советской внешней разведки в Нью-Йорке, а затем до осени 1944 года – главным резидентом в США под прикрытием должности 2-го секретаря посольства СССР в Вашингтоне. Основное его внимание в работе было обращено на качественное улучшение агентурного аппарата. Перед войной на связи резидентуры НКВД в США имелось несколько десятков источников информации. Однако в связи с арестом резидента Овакимяна большая часть агентов была законсервирована. По предложению Зарубина Центр направил в США группу разведчиков-нелегалов для восстановления связи с законсервированной агентурой и наиболее ценными источниками информации, а также для ведения новых вербовочных разработок. В 1942 году нелегальную резидентуру в США возглавил ставший в дальнейшем легендарным разведчиком И.А. Ахмеров, который успешно решил эту задачу.
Под руководством В.М. Зарубина «легальная» резидентура в 1942 году завербовала несколько новых помощников и восстановила связь с рядом законсервированных агентов. Надежные источники информации были приобретены в основных исполнительных органах власти, в том числе в государственном департаменте, ряде военных ведомств, разведке и контрразведке США, научно-исследовательских организациях, фирмах и предприятиях. Резидентура вела также работу и в латиноамериканских странах, где у нее имелись источники разведывательной информации.
Почти одновременно с Зарубиным в Нью-Йорк прибыл заместитель резидента по научно-технической разведке Леонид Квасников. Под его руководством резидентура сумела добыть важные разведывательные материалы, в первую очередь по использованию атомной энергии в военных целях, по авиации и реактивной технике, радарам, компьютерам и другой электронной аппаратуре. Значительно позже, в середине 1990-х годов, Леонид Квасников, сотрудники нью-йоркской резидентуры Александр Феклисов и Анатолий Яцков, а также несколько других разведчиков за активный вклад в дело создания советского атомного оружия были удостоены звания Героев Российской Федерации.