Когда он стал рассказывать о полученной им информации в отношении военных планов Гитлера, мы поняли, что Гиммлер подбрасывал полякам дезинформацию, которая была призвана создать впечатление, будто у Германии нет никаких планов в отношении Востока, в том числе и Польши, что все ее помыслы, мол, обращены только на Запад — на Францию и Англию. О том, как фактически развивались события после 1939 года, Сосновский не знал, так как был в заключении, в германской и польской тюрьмах, а затем попал к нам».
Двух агентов, завербованных Сосновским, советской разведке удалось перевербовать буквально накануне войны. Поступавшая от них информация, в том числе из МИД Третьего рейха, свидетельствовала о неизбежности военного столкновения Германии и СССР. Вскоре развитие событий полностью подтвердило эти прогнозы. Работа с этими агентами продолжалась до 1942 года.
После того как Зубов помог завербовать Сосновского, Судоплатов предложил Берии использовать разведчика для разработки князя Радзивилла. Это предложение было одобрено наркомом. Зубова перевели в камеру Радзивилла, где он находился в течение месяца. Впоследствии, как свидетельствовал Павел Судоплатов, князь Радзивилл был завербован с помощью Зубова. В годы войны планировалось его использование в качестве агента влияния советской разведки. Правда, в архивах разведки каких-либо сведений относительно успешно проведенных им операций не имеется.
Условия содержания разведчика в тюрьме несколько изменились. Находясь под стражей, Зубов, в сопровождении конвоира, мог ходить в поликлинику НКВД на медицинские процедуры. Однако из заключения он так и не вышел.
Началась Великая Отечественная война, первый этап которой был трагичным для Красной Армии. Неудачным было начало и для советской внешней разведки, которая в первые же месяцы потеряла связь с источниками информации как в Германии, так и на территории оккупированных ею стран. Кроме того, из-за необоснованных массовых репрессий против советских разведчиков, пик которых пришелся на 1938 год, разведка испытывала острую нехватку квалифицированных кадров. Судоплатов и его заместитель Эйтингон предложили Берии освободить из тюрем бывших сотрудников разведки и госбезопасности и получили на это согласие.
Павел Судоплатов затребовал для ознакомления дело на Петра Зубова и на ряд других разведчиков, о судьбе которых ему ничего не было известно. Из документов следовало, что Зубов был арестован по личному указанию Сталина. К сожалению, Шпигельглас, Карин, Малли и некоторые другие разведчики, которые являлись крупными специалистами по проблемам Германии и могли бы принести неоценимую пользу, к тому времени были уже расстреляны.
После освобождения из заключения Петр Яковлевич по ходатайству Судоплатова был назначен начальником германского отделения Особой группы, преобразованной в феврале 1942 года в 4-е управление НКВД СССР. В годы войны он руководил подготовкой и заброской в тыл врага специальных разведывательных групп, в том числе для восстановления утраченной связи с так называемой «Красной капеллой».
2 июля 1941 года работники советского посольства в Берлине, а в их числе и сотрудники резидентуры НКВД, были вывезены немцами в Болгарию, а оттуда через нейтральную Турцию возвратились в СССР. Связь с агентурой советской разведки НКВД в Германии была утрачена. Центр не смог сообщить радисту «Красной капеллы» новую длину волны для радиопередач, поэтому связь приобрела односторонний характер: Ганс Коппи передавал радиограммы от Арвида Харпака, но Москва хранила молчание. Радиоцентр советской разведки был расположен на границе Белоруссии с Польшей и уже с первых дней войны прекратил свое существование.
Руководство немецкого сектора доложило начальнику внешней разведки Павлу Михайловичу Фитину, что для налаживания устойчивой связи с «Красной капеллой» необходимо направить в Берлин надежного курьера-связника. После тщательной проверки были отобраны два опытных агента. Пройдя интенсивную подготовку, в которой принимал непосредственное участие и Зубов, они в конце 1941 года были переброшены по воздуху в Лондон. Предполагалось, что в соответствии с имевшейся договоренностью о сотрудничестве между британской разведкой МИ-6 и советской разведкой агенты отработают в Англии прыжки с парашютом, а затем будут заброшены в немецкий тыл. Однако во время одной из тренировок на английском полигоне один из агентов получил серьезную травму и был госпитализирован. От плана их заброски в Берлин пришлось отказаться. Руководство советской разведки приняло решение направить в Германию другую пару радистов, не прибегая к услугам англичан.