Новый начальник внешней разведки начал свою деятельность с восстановления боеспособности резидентур за границей, как «легальных», так и нелегальных. В течение 1939 года за кордон для восстановления связи с законсервированной агентурой были направлены опытные разведчики Василий Зарубин, Дмитрий Федичкин, Борис Рыбкин, Михаил Аллахвердов, Александр Коротков и многие другие.
В результате принятых мер удалось воссоздать 40 зарубежных резидентур, направить в них более 200 разведчиков, а также восстановить многие нелегальные резидентуры. Это сразу же сказалось на результатах работы внешней разведки.
В мае 1939 года Фитин докладывает Сталину обобщенную информацию разведки об утвержденном Гитлером плане «Вайс», который предусматривал оккупацию Германией Польши. Разведке стала известна и крайняя дата возможного нападения на Польшу – 1 сентября 1939 года, что означало начало новой мировой войны.
22 июля 1940 года Гитлер подписал директиву о разработке плана нападения на Советский Союз, получившего название план «Барбаросса». К концу года подготовка плана войны против СССР была завершена, и 18 декабря 1940 года Гитлер подписал совершенно секретную директиву № 21. В ней говорилось, что германские вооруженные силы должны разгромить Советскую Россию в ходе кратковременной кампании еще до того, как будет закончена война против Англии. Приготовления к реализации плана «Барбаросса» планировалось завершить к 15 мая 1941 года.
Следует признать, что ни одна разведка мира, включая советскую, не смогла получить план «Барбаросса». Однако советским разведчикам удалось до начала войны выяснить его основное содержание. Всего с июля 1940 года по июнь 1941 года внешнеполитическая разведка направила в Политбюро ЦК ВКП(б) более 120 детальных сообщений. В них отслеживались не только военные приготовления Германии, но и содержались сведения о военно-хозяйственных приготовлениях к эксплуатации советских территорий, которые будут захвачены вермахтом.
Наконец, 16 июня 1941 года из берлинской резидентуры НКГБ в Москву поступило срочное сообщение, полученное от надежного источника, в котором подчеркивалось: «Все военные приготовления Германии по подготовке вооруженного выступления против СССР полностью закончены, и удара можно ожидать в любое время».
На рассвете 22 июня 1941 года Фитин был срочно вызван к наркому. Ему была понятна причина столь срочного вызова: подтвердилась информация разведки. В резидентуры ушли телеграммы, подписанные Фитиным, в которых уточнялись их задачи в связи с начавшейся войной. Главная задача – выявить реальные военно-политические планы нацистской Германии и ее союзников в отношении СССР.
В связи с успешным продвижением вермахта на Восток ЦК ВКП(б) 18 июля 1941 года принимает специальное постановление «Об организации борьбы в тылу германских войск». Одновременно принимается решение об очередной реорганизации внешней разведки органов государственной безопасности. Наркомат госбезопасности был ликвидирован, а внешняя разведка вошла в состав НКВД, которым руководил Берия.
Основной задачей внешней разведки было определено развертывание активной разведывательной работы за рубежом. Одновременно было создано Четвертое (разведывательно-диверсионное) управление НКВД, главной задачей которого являлось ведение разведывательной и диверсионной работы в тылу германских войск на оккупированной советской территории. Начальником Четвертого управления был назначен заместитель Фитина генерал Судоплатов.
С потерей разведывательных возможностей непосредственно в Германии Фитин сделал ставку на активизацию работы «легальных» резидентур в таких странах, как Англия, США, Болгария, Турция, Китай, Иран, Афганистан, Швеция, Япония. Наиболее значительных результатов внешняя разведка под руководством Фитина добилась в Англии, где активно действовала знаменитая «Кембриджская пятерка» в составе Кима Филби, Джона Кернкросса, Энтони Бланта, Дональда Маклина и Гая Берджеса.
Особое место принадлежало резидентурам внешней разведки в Англии и США в получении секретов атомного оружия. Благодаря настойчивости Фитина в июле 1943 года ГКО СССР принял специальное постановление о начале работ над атомным оружием в нашей стране и определил задачи внешней разведки по данному вопросу.
Помимо атомной проблемы разведка в годы войны решала массу других важных задач. В качестве приоритетной ставилась задача изыскать возможности для получения политической, экономической и военной информации по Германии и ее союзникам. Особое внимание обращалось также на своевременное выявление планов и намерений США и Великобритании в отношении СССР, а также стран «оси».
После того как в Великой Отечественной войне произошел коренной перелом в пользу Советского Союза, важное место в работе внешней разведки за рубежом стали занимать вопросы, связанные со сроками открытия второго фронта и сепаратными переговорами, которые Англия и США пытались вести с нацистской Германией за спиной СССР.