Русский. Родился в дер. Панино Бронницкого уезда Московской губернии в семье кондуктора товарного поезда ст. Москва-Курская Нижегородской ж.-д. Михаила Терентьевича Зарубина. Его отец был членом РСДРП, до революции высылался административно из Москвы, а во время Гражданской войны был командирован на Восточный фронт начальником головного технического поезда, там заболел и в 1920 г. умер в Москве. Мать, Прасковья Абрамовна, работала поломойкой и прачкой. Кроме Василия, в семье было еще 12 детей, его брат Сергей и сестра Анна позднее работали в органах государственной безопасности.
В 1903–1908 гг. В. Зарубин учился в двухклассном училище при Московско-Курской ж.-д., после окончания которого начал работать в товариществе В. Лыжина (суконная фирма) сперва мальчиком, затем помощником упаковщика, после этого служил конторщиком и одновременно учился.
Участник 1-й мировой войны. С 1914 г. — рядовой 33-го. Елецкого полка 9-й пехотной дивизии на Юго-Западном фронте, с 1915 г. — рядовой 58-го запасного пехотного полка запасной бригады в Воронеже. Находясь в действующей армии, вел антивоенную агитацию, за что был направлен в штрафную роту. В марте 1917 г. был ранен и находился на излечении в Воронеже. По возвращении в часть был избран в полковой комитет солдатских депутатов. С октября 1917 г. — конторщик товарищества «Волжская мануфактура» в Москве, с февраля 1918 г. — помощник кладовщика склада товарищества В. Лыжина.
В апреле 1918 г. вступил в РКП(б). С сентября 1918 г. В. М. Зарубин — командир отделения 35-го резервного Рогожско-Симоновского полка 8-й армии Южного фронта. С февраля по июнь 1919 г. он — начальник конной связи и помощник начальника штаба по оперчасти 1-й бригады 1-й Московской Рабочей дивизии Южного фронта, затем был ранен и длительное время лечился в Москве и Воронеже. С февраля 1920 г. — инструктор-контролер 24-й бригады ВОХР Орловского сектора. С октября 1920 г. — сотрудник для поручений при начальнике 5-й дивизии ВНУС в г. Козлове.
При расформировании войск ВНУС В. М. Зарубин был рекомендован в органы ВЧК. С 12 января 1921 г. он — помощник уполномоченного по борьбе со спекуляцией районной транспортной ЧК Центра (Москва), с мая 1921 г. — уполномоченный, заместитель начальника СОЧ, затем начальник СОЧ Отдельной дорожно-транспортной ЧК и одновременно заместитель начальника Отдельной дорожно-транспортной ЧК в Москве.
В апреле 1922 г. В. М. Зарубин был направлен для прохождения службы в ПП ГПУ ДВО и был назначен заместителем начальника ОО 17-го Приморского корпуса в г. Николаевске-Уссурийском. С февраля 1923 г. он — начальник экономического отделения Приморского губотдела ГПУ во Владивостоке, одновременно с мая того же года — член комиссии Приморского губотдела ГПУ.
С февраля 1924 г. В. М. Зарубин был переведен на работу в разведку и зачислен в негласный штат по закордонной работе ПП ОГПУ ДВО, выезжал со спецзаданиями в Харбин и Пекин под прикрытием должности завхоза консульства СССР. С марта 1924 г. он — начальник 4-го отделения ЭКО Приморского губотдела ПП ОГПУ ДВО во Владивостоке, отвечал за борьбу с контрабандой наркотиков и оружия из Европы в Китай.
В сентябре 1925 г. переведен в аппарат ИНО ОГПУ и зачислен особоуполномоченным Закордонной части. Владел французским, немецким и английским языками.
С декабря 1925 г. по 1926 г. — легальный резидент ИНО ОГПУ в Хельсинки, действовал под прикрытием должности атташе полпредства СССР в Финляндии.
С 1927 г. В. М. Зарубин находится на нелегальной работе в Дании. После возвращения в Москву с апреля 1929 г. он — особоуполномоченный Закордонной части, а с января 1930 г. — помощник начальника 8-го отделения ИНО ОГПУ.
В марте 1930 г. В. М. Зарубин был назначен нелегальным резидентом ИНО ОГПУ во Франции («Бетти»), куда выехал по документам инженера Яна Кочека, словака по национальности, вместе со своей второй женой Е. Ю. Зарубиной (Горской), предварительно легализовавшись в Швейцарии. Жил в г. Антиб на юге Франции, затем в пригороде Парижа, получил вид на жительство, действовал под прикрытием совладельца гаража, затем — совладельца рекламной фирмы. Возглавляемая им резидентура наладила получение документальных материалов не только по Франции, но и по Германии. В частности, она регулярно направляла в Центр добываемую в германском посольстве секретную политическую и экономическую информацию.
В декабре 1933 г. переведен нелегальным резидентом в Берлин. Провел ряд ценных вербовок, являлся оператором особо важного агента — сотрудника гестапо Вилли Лемана («Брайтенбах»). Полученная от него Ценнейшая информация о структуре, кадрах, операциях РСХА, гестапо и абвера, о военном строительстве и оборонной промышленности Германии, а также о ее планах и намерениях получила высокую оценку Центра.
В 1937 г. для выполнения спецзадания (вербовки агентов для организации связи с Центром через Швейцарию) вместе с женой выезжал в США. В декабре 1937 г. вернулся в Москву.