После освобождения города в начале 1920 г. вновь вступил в РККА. С февраля 1920 г. красноармеец роты связи 123–й стрелковой бригады 41–й дивизии 14–й армии. С бригадой участвовал в боях на Украине и на Польском фронте.
С мая 1921 г. письмоводитель, регистратор, машинист—систематизатор ОО 44–й дивизии, а затем Волынского губотдела ГПУ в Житомире. С 1922 г. П. Судоплатов в погранвойсках ОГПУ: сотрудник Изяславского погранотделения, а затем Славутинского погранпоста.
С сентября 1923 г. на комсомольской работе в Мелитополе: заведующий информотделом окружкома ЛКСМУ, член правления и комендант Клуба рабочей молодежи. С 1924 г. секретарь ячейки ЛКСМУ с. Ново—Григорьевка Генического района. С 1924 г. ученик слесаря и одновременно секретарь ячейки ЛКСМУ завода им. В. Воровского, затем — практикант райпотребсоюза в Мелитополе.
В феврале 1925 г. окружком ЛКСМУ направил П. А. Судоплатова на работу в Мелитопольский окротдел ГПУ, где он был зачислен сводчиком информационного отделения. С января 1927 г. помощник уполномоченного УСО, а затем младший оперработник. Отвечал за работу агентуры, действовавшей в греческом, болгарском и немецком поселениях.
С августа 1928 г. уполномоченный СПО Харьковского губотдела, затем — уполномоченный ИНФО ГПУ УССР в Харькове. Одновременно в 1928–1930 гг. заочно учился на рабфаке ГПУ. В 1928 г. вступил в ВКП(б).
В июле 1930 г. П. А. Судоплатов был зачислен в резерв назначения и откомандирован комиссаром Культурно—воспитательной части Прилукской трудкоммуны ГПУ для малолетних правонарушителей. С декабря 1931 г. он — инспектор Организационно—инструкторского отдела ГПУ УССР в Харькове.
В феврале 1932 г. переведен на работу в центральный аппарат ОГПУ инспектором, а с января 1933 г. — старшим инспектором 1–го отделения отдела кадров ОГПУ, курировал кадры ИНО.
Вскоре и сам П. А. Судоплатов был зачислен в аппарат ИНО ОГПУ: с апреля 1933 г. он — оперуполномоченный 5–го, затем 8–го отделений. С октября 1933 г. — в резерве отдела кадров ОГПУ в связи со спецкомандировкой за рубеж. 1 июня 1934 г., по возвращении в СССР, зачислен оперуполномоченным в ИНО ОГПУ. С ноября 1934 г. оперуполномоченный 7–го отделения ИНО ГУГБ НКВД.
В 1935 г. под прикрытием представителя украинского антисоветского подполья П. А. Судоплатов (псевдоним «Андрей») был внедрен в руководство ОУН в Берлине. Ему удалось попасть на учебу в специальную партийную школу НСДАП в Лейпциге. Завоевав расположение лидера ОУН полковника Евгения Коновальца, разведчик вошел в его ближайшее окружение и сопровождал Коновальца в инспекционных поездках в Париж и Вену. В 1937–1938 гг. «Андрей» выезжал в Западную Европу в качестве нелегального курьера под прикрытием радиста грузового судна.
По возвращении в СССР — оперуполномоченный ИНО, затем помощник начальника отделения 7–го отдела ГУГБ НКВД СССР.
23 августа 1938 г. в Роттердаме по личному поручению И. В. Сталина П. А. Судоплатов осуществил ликвидацию лидера ОУН Е. Коновальца.
С сентября 1938 г. и. о. помощника начальника 4–го (испанского) отделения 5–го отдела ГУГБ НКВД. После ареста руководителей разведки З. И. Пассова и С. М. Шпигельглаза в ноябре — декабре 1938 г. исполнял обязанности начальника 5–го отдела ГУГБ НКВД.
В конце декабря 1938 г. П. А. Судоплатов был отстранен от дел и исключен из ВКП(б) первичной парторганизацией отдела за «связь с врагами народа». Однако благодаря вмешательству руководства НКВД это решение не было утверждено парткомом Наркомата, а П. А. Судоплатов 16 января 1939 г. получил должность заместителя начальника 4–го отделения.
С 10 мая 1939 г. он — заместитель начальника 5–го отдела ГУГБ НКВД СССР. Руководил подготовкой операции «Утка» (ликвидация Л. Д. Троцкого), успешно осуществленной 20 августа 1940 г. в Мексике Л. А. Эйтингоном и Р. Меркадером.
С 25 февраля 1941 г. П. А. Судоплатов — заместитель начальника 1–го (Разведывательного) управления НКГБ СССР.
После начала Великой Отечественной войны П. А. Судоплатов с 5 июля 1941 г. — начальник Особой группы при наркоме внутренних дел СССР, с 3 октября 1941 г. — 2–го отдела НКВД СССР. Одновременно с 30 ноября 1941 г. по 1 июня
1942 г. — заместитель начальника 1–го управления НКВД СССР.
С 18 января 1942 г. — начальник 4–го управления НКВД СССР, которое было создано на базе 2–го отдела. Руководил партизанскими и разведывательно—диверсионными операциями в ближних и дальних тылах противника, координировал работу агентурной сети на территории Германии и ее союзников. С 21 ноября 1942 г. по совместительству — заместитель начальника 1–го управления НКВД СССР. С 11 мая
1943 г. — начальник 4–го управления НКГБ СССР.