Зарубины прибыли в США в январе 1942 года и сразу же активно включились в налаживание разведывательной работы. До апреля 1943 года Василий Михайлович был резидентом советской внешней разведки в Нью-Йорке под прикрытием должности вице-консула, а затем до осени 1944 года — главным резидентом в США под прикрытием должности 2-го секретаря полпредства СССР в Вашингтоне. Основное его внимание в работе было обращено на качественное улучшение агентурного аппарата. Перед войной на связи резидентуры НКВД в США имелось несколько десятков источников информации. Однако в связи с арестом резидента Овакимяна большая часть агентов была законсервирована. По предложению Зарубина Центр направил в США группу разведчиков-нелегалов для восстановления связи с законсервированной агентурой и наиболее ценными источниками информации, а также для ведения новых вербовочных разработок. В 1942 году нелегальную резидентуру в США возглавил ставший в дальнейшем легендарным разведчиком И.А. Ахмеров, который успешно решил эту задачу.
Под руководством В.М. Зарубина «легальная» резидентура в 1942 году завербовала несколько новых помощников и восстановила связь с рядом законсервированных агентов. Надежные источники информации были приобретены в основных исполнительных органах власти, в том числе в Государственном департаменте, ряде военных ведомств, разведке и контрразведке США, научно-исследовательских организациях, фирмах и на предприятиях. Резидентура вела также работу и в латиноамериканских странах, где у нее имелись источники разведывательной информации.
Большая работа велась «легальной» резидентурой по подбору и направлению агентуры в Европу, в том числе в Испанию, Югославию, Англию и Францию. Хуже обстояло дело с вербовкой агентуры для направления непосредственно в гитлеровскую Германию, несмотря на то что германская колония в США насчитывала в годы войны до 200 тысяч человек. В.М. Зарубин объяснял это тем, что эмигрантами из Германии в США являлись в основном лица еврейской национальности. Среди них, безусловно, были приобретены источники, добровольно согласившиеся оказывать СССР помощь в борьбе против нацизма. Но посылать их с заданиями в гитлеровскую Германию, разумеется, было нельзя.
Почти одновременно с Зарубиным в Нью-Йорк прибыл и заместитель резидента по научно-технической разведке Л.Р. Квасников. Под его руководством резидентура сумела добыть важные разведывательные материалы, в первую очередь по использованию атомной энергии в военных целях, по авиации и реактивной технике, радарам, компьютерам и другой электронной аппаратуре. Значительно позже, в середине 1990-х годов, Л.Р. Квасников, оперработники нью-йоркской резидентуры А.С. Феклисов и А.А. Яц-ков, а также несколько других разведчиков за активный вклад в дело создания советского атомного оружия были удостоены звания Героев Российской Федерации.
В нью-йоркской резидентуре исключительно результативно трудился также Семен Маркович Семенов, прибывший в США еще в 1939 году. Однако в конце 1943 года он попал в поле зрения американской контрразведки и был вынужден выехать из страны. Но переданные им на связь источники снабжали советскую разведку важнейшей научно-технической информацией, в том числе по вопросам создания атомного оружия в США.
Активно работала в США и жена Зарубина — Елизавета Юльевна. На связи у нее находились двадцать два агента, с которыми необходимо было регулярно встречаться с соблюдением всех мер конспирации, получать от них разведывательную информацию, поддерживать веру в непобедимость Красной Армии. И это в тот момент, когда наши войска отступали на всех фронтах. Ее источники были разбросаны по всей территории США, и Зарубиной приходилось часто ездить между Вашингтоном, Нью-Йорком, Сан-Франциско и другими городами Америки.
Елизавете Юльевне довелось работать с ценнейшим источником резидентуры, выходцем из России Яковом Голосом. Он сумел лично завербовать около 20 человек. Среди них «Брайен», сотрудник одного из важных министерств, «Олфсен», дававший информацию по вопросам вооружения, «Ронд», работавший в важном правительственном учреждении и бывший особенно полезным советской разведке в годы войны. К сожалению, 25 ноября 1943 г. Я. Голос умер от разрыва сердца.
Через свои контакты в научных кругах Е. Зарубиной удалось познакомиться с «отцом атомной бомбы» Робертом Оппенгеймером, а также с выдающимся физиком Сциллардом, работавшим в той же области. То, что Е. Зарубина делала в США, еще не было «атомным шпионажем», но уже давало выход на близкие подступы к нему. Основную работу в США по «манхэттенскому проекту» (созданию атомной бомбы) проделали другие разведчики — сотрудники нью-йоркской резидентуры. Однако ее работа на этом поприще привлекла внимание Центра к атомной проблеме. В дальнейшем участие Е. Зарубиной в атомной разведке было отмечено орденом Красной Звезды (22 октября 1944 г.).