К этому времени советская внешняя разведка располагала необходимыми возможностями в Германии (группа Шульце-Бойзена — штаб ВВС, группа Харнака — министерство экономики, Кукхов — в МИДе, Леман — в гестапо). Неплохие источники были и у военной разведки (например, Ильза Штёбе и Шелиа в МИДе).
Однако все их сообщения сводились к передаче разговоров с людьми, близкими к руководителям второго ранга. При всей честности и порядочности этой агентуры, она была не в состоянии обеспечить советскую разведку точными и бесспорными данными. Информации агентов из других точек (Филби и другие — из Англии, племянник графа Чиано, министра иностранных дел — из Италии и т. д.) также были лишь косвенными свидетельствами о намерениях немцев.
Что скрывать? «Штирлица» у советской разведки не было.
22 июня 1941 года Судоплатову было поручено возглавить всю разведывательно-диверсионную работу по линии органов госбезопасности в тылу немецких войск. 5 июля он был официально назначен начальником Особой группы при наркоме внутренних дел. Её задачей стали: ведение разведки против Германии и её союзников; создание агентурной сети на оккупированных территориях; организация партизанской войны; ведение радиоигр с немецкой разведкой.
Было создано войсковое соединение — Отдельная мотострелковая бригада особого назначения (ОМСБОН), куда вошли только добровольцы — политэмигранты, спортсмены, комсомольские активисты, радисты-моряки. Непосредственное участие в создании бригады приняли руководящие деятели Коминтерна Георгий Димитров, Долорес Ибаррури и другие.
В октябре 1941 года Особая группа была преобразована в 4-е управление НКВД, которое возглавил Судоплатов. По его инициативе из тюрем были освобождены многие бывшие сотрудники госбезопасности, в том числе Медведев и Прокопюк, удостоившиеся звания Героя Советского Союза за успешное руководство партизанскими отрядами, Каминский, погибший в тылу врага, и другие.
Судоплатов получил и ещё одно назначение: стал заместителем начальника штаба НКВД по борьбе с немецкими парашютными десантами. А с весны 1942 года в его подчинение передали группу десантников с эскадрильей транспортных самолётов и бомбардировщиков дальнего действия. Таким образом, работы тридцатипятилетнему Павлу Судоплатову хватало.
В годы войны его служба стала главным центром разведывательно-диверсионной работы органов госбезопасности в немецком тылу. Именно под её влиянием возникли первые партизанские отряды и истребительные группы, развёртывалось партизанское движение в Белоруссии, Украине, Прибалтике.
В тыл противника было направлено более двух тысяч оперативных групп общей численностью около пятнадцати тысяч человек, в том числе такие замечательные разведчики, как Ваупшасов, Карасёв, Кудря, Кузнецов, Лягин, Медведев, Мирковский, Прокопюк, Прудников, Шихов и другие. О каждом из этих людей написано немало книг и статей, созданы художественные произведения и фильмы, многие из тех, кому удалось дожить до победы, оставили свои воспоминания, поэтому мы не будем останавливаться на описании их подвигов.
Подразделения 4-го управления и ОМСБОН уничтожили сто пятьдесят семь тысяч немецких солдат и офицеров, ликвидировали восемьдесят семь высокопоставленных фашистов, выявили и обезвредили две тысячи сорок пять агентурных групп, пустили под откос десятки эшелонов.
В те недели, когда враг угрожал Москве (октябрь—ноябрь 1941 года), ОМСБОН получила задание до последней капли крови оборонять центр Москвы и Кремль. Её бойцы заняли позиции вокруг Кремля, в том числе в Доме Союзов. Были заминированы дальние и ближние подступы к Москве, несколько правительственных дач (кроме дачи Сталина), ряд зданий, где могли бы проводиться совещания высших германских должностных лиц. (Впоследствии Судоплатова обвиняли в том, что, минируя дачи, он готовил покушения на «вождей»). Были моменты, когда ОМСБОН оставалась, по существу, одним из немногих полностью боеспособных соединений, оборонявших Москву.
В Москве, на случай её захвата немцами, были созданы три независимые друг от друга разведывательные сети (не считая разведывательных сетей ГРУ Генштаба). Одна из автономных групп, которой руководил композитор Книппер, автор песни «Полюшко-поле», должна была уничтожить Гитлера в случае его появления в Москве. (Книппер был родственником германской киноактрисы Ольги Чеховой, которая на приёмах пару раз встречалась с Гитлером, на основании чего строились планы привлечь её к покушению на фюрера.)
Москву удалось отстоять. 7 ноября 1941 года Судоплатов присутствовал на параде на Красной площади.
В июле 1941 года Судоплатов выполнил важное поручение Берии, которое, по словам Берии, исходило от Сталина и Молотова. В беседе со своим агентом, болгарским послом в СССР Стаменовым, он провёл косвенный зондаж возможности мирных переговоров с немцами. Целью этого зондажа было забросить немцам дезинформацию о готовности советского руководства к переговорам, с тем, чтобы выиграть время и усилить позиции тех кругов в Германии, которые не оставляли надежд на компромиссное завершение войны.