В конце июня 1938 года П. Судоплатов нелегально перебирается во Францию, где садится на советский пароход и на нем в конце лета прибывает в Ленинград. По прибытии в Москву состоялась встреча Судоплатова с Л.П. Берией, который 22 августа 1938 года был назначен заместителем наркома внутренних дел. Берия задавал вопрос за вопросом, желая знать обо всех деталях операции против Коновальца и об ОУН с начала её деятельности. Из беседы с Берией Судоплатов сделал вывод, что он обладал опытом работы в подполье, приобретённым в Закавказском ЧК.
Нельзя обойти стороной наиболее болезненную для всех нормальных людей тему — тему политических репрессий 1930-х годов. Процесс устранения нелояльных по отношению к Сталину кадров РККА, НКВД и Коминтерна происходил постепенно, начиная с 1929 года, когда против ряда польских коммунистов, проживавших в СССР, стали выдвигаться обвинения в принадлежности к Польской организации войсковой (ПОЗ). Работу по обучению диверсантов и партизан можно было трактовать как подготовку террористических актов в рамках антисоветского заговора против руководства страны с целью изменения государственного строя в интересах контрреволюционных организаций и (или) иностранных государств. Были репрессированы: А.Х. Артузов, Я.К. Берзин, С. А. Мессинг, З.И. Пассов, В.М. Примаков, И.А. Пятницкий, М.А. Трилиссер, И.П. Уборевич, И.С. Уншлихт, С.П. Урицкий, С.М. Шпигелылас, И.Э. Якир и многие другие. Большинство кадровых сотрудников Коминтерна, ИНО НКВД, ГУ РККА в силу специфики их работы легко можно было обвинить в принадлежности к той или иной иностранной разведке и/или в подготовке покушения на Сталина.
Павел Анатольевич Судоплатов вспоминал:
«Мне ясно вспоминаются события, которые вскоре последовали. Наступил ноябрь, канун октябрьских торжеств. И вот в 4 часа утра меня разбудил настойчивый телефонный звонок: звонил Козлов, начальник секретариата Иностранного отдела. Голос звучал официально, но в нём угадывалось необычайное волнение.
— Павел Анатольевич, — услышал я, — вас срочно вызывает к себе первый заместитель начальника Управления госбезопасности товарищ Меркулов. Машина уже ждёт вас. Приезжайте как можно скорее. Только что арестованы Шпигелылас и Пассов.
Жена встревожилась. Я решил, что настала моя очередь.
На Лубянке меня встретил сам Козлов и проводил в кабинет Меркулова. Тот приветствовал меня в своей обычной, вежливой, спокойной манере и предложил пройти к Лаврентию Павловичу. Нервы мои были напряжены до предела. Я представил, как меня будут допрашивать о моих связях со Шпигелыласом. Но, как ни поразительно, никакого допроса Берия учинять не стал. Весьма официальным тоном он объявил, что Пассов и Шпигельгпас арестованы за обман партии и что мне надлежит немедленно приступить к исполнению обязанностей начальника Иностранного отдела, то есть отдела закордонной разведки».
За три недели пребывания в должности исполняющего обязанности начальника отдела, — вспоминал он, — я смог узнать структуру и организацию проведения разведывательных операций за рубежом. В рамках НКВД существовали два подразделения, занимавшиеся разведкой за рубежом. Это Иностранный отдел, которым руководили сначала Трилиссер, потом Артузов, Слуцкий и Пассов. Задача отдела — добывать для Центра разведданные как по легальным (через наших сотрудников, имевших дипломатическое прикрытие или работавших в торговых представительствах за рубежом), так и по нелегальным каналам.
В то же время существовала и другая разведывательная служба — Особая группа при наркоме внутренних дел, находящаяся в его подчинении и глубоко законспирированная. В её задачу входило создание резервной сети нелегалов для проведения диверсионных операций в тылах противника в Западной Европе, на Ближнем Востоке, Китае и США в случае войны. Особая группа не имела своих сотрудников в дипломатических и торговых миссиях за рубежом. Её аппарат состоял из двадцати оперработников, отвечавших за координацию деятельности закордонной агентуры. Все остальные сотрудники работали за рубежом в качестве нелегалов.
В то время, о котором я веду речь, число таких нелегалов составляло около шестидесяти человек. Вскоре мне стало ясно, что руководство НКВД могло по своему выбору использовать силы и средства Иностранного отдела и Особой группы для проведения особо важных операций, в том числе диверсий и ликвидации противников СССР за рубежом.
Особая Группа иногда именовалась «группой Яши», так как более десяти лет возглавлялась Яковом Серебрянским. Именно его люди организовали в 1930 году похищение главы белогвардейского РОВС в Париже генерала Кутепова. «Группа Яши» создала мощную агентурную сеть в 20—30-годах во Франции, Германии, Палестине, США и Скандинавии.
23 ноября 1938 года над Судоплатовым сгустились тучи политического недоверия. В этот день состоялось заседание парткома 5-го партколлектива ГУГБ, на котором слушалось его персональное дело. Партком постановил: Судоплатова П.А. из рядов ВКП(б) исключить.