После освобождения города в начале 1920 г. вновь вступил в РККА. С февраля 1920 г. — красноармеец роты связи 123-й стрелковой бригады 41-й дивизии 14-й армии. С бригадой участвовал в боях на Украине и на польском фронте.
С мая 1921г.— письмоводитель, регистратор, машинист-систематизатор ОО 44-й дивизии, а затем Волынского губотдела ГПУ в Житомире. С 1922 г. П. Судоплатов в погранвойсках ОГПУ: сотрудник Изяславского погранотделения, а затем Славутинского погранпоста.
С сентября 1923 г. он на комсомольской работе в Мелитополе: заведующий информотделом окружкома ЛКСМУ, член правления и комендант клуба рабочей молодежи. С 1924 г. — секретарь ячейки ЛКСМУ с. Ново-Григорьевка Генического района. С 1924 г. — ученик слесаря и одновременно секретарь ячейки ЛКСМУ завода им. В. Воровского, затем практикант райпотребсоюза в Мелитополе.
В феврале 1925 г. окружком ЛКСМУ направил П. А. Судоплатова на работу в Мелитопольский окротдел ГПУ, где он был зачислен сводчиком информационного отделения. С января 1927 г. — помощник уполномоченного УСО, а затем младший оперработник. Отвечал за работу агентуры, действовавшей в греческом, болгарском и немецком поселениях.
С августа 1928 г. — уполномоченный СПО Харьковского губотдела, затем — уполномоченный ИНФО ГПУ УССР в Харькове. Одновременно в 1928—1930 гг. заочно учился на рабфаке ГПУ. В 1928 г. вступил в ВКП(б).
В июле 1930 г. П. А. Судоплатов был зачислен в резерв назначения и откомандирован комиссаром Культурно-воспитательной части Прилукской трудкоммуны ГПУ для малолетних правонарушителей. С декабря 1931 г. он инспектор Организационно-инструкторского отдела ГПУ УССР в Харькове.
В феврале 1932 г. переведен на работу в центральный аппарат ОГПУ — инспектором, а с января 1933 г. — старшим инспектором 1-го отделения отдела кадров ОГПУ, курировал кадры ИНО.
Вскоре и сам П. А. Судоплатов был зачислен в аппарат ИНО ОГПУ: с апреля 1933 г. он оперуполномоченный 5-го, затем 8-го отделения. С октября 1933 г. — в резерве отдела кадров ОГПУ в связи со спецкомандировкой за рубеж. 1 июня 1934 г., по возвращении в СССР, зачислен оперуполномоченным в ИНО ОГПУ. С ноября 1934 г. — оперуполномоченный 7-го отделения ИНО ГУГБ НКВД.
В 1935 г. под прикрытием представителя украинского антисоветского подполья П. А. Судоплатов (псевдоним Андрей) был внедрен в руководство ОУН в Берлине. Ему удалось попасть на учебу в специальную партийную школу НСДАП в Лейпциге. Завоевав расположение лидера ОУН полковника Евгения Коновальца, разведчик вошел в его ближайшее окружение и сопровождал Коновальца в инспекционных поездках в Париж и Вену. В 1937—1938 гг. Андрей выезжал в Западную Европу в качестве нелегального курьера под прикрытием радиста грузового судна.
По возвращении в СССР — оперуполномоченный ИНО, затем помощник начальника отделения 7-го отдела ГУГБ НКВД СССР.
23 августа 1938 г. в Роттердаме, по личному поручению И. В. Сталина П. А. Судоплатов осуществил ликвидацию лидера ОУН Е. Коновальца.
С сентября 1938г. — и.о. помощника начальника 4-го (испанского) отделения 5-го отдела ГУГБ НКВД. После ареста руководителей разведки 3. И. Пассова и С. М. Шпигельглаза в ноябре — декабре 1938 г. исполнял обязанности начальника 5-го отдела ГУГБ НКВД.
В конце декабря 1938 г. П. А. Судоплатов был отстранен от дел и исключен из ВКП(б) первичной парторганизацией отдела за «связь с врагами народа». Однако благодаря вмешательству руководства НКВД это решение не было утверждено парткомом Наркомата, а П. А. Судоплатов 16 января 1939 г. получил должность заместителя начальника 4-го отделения.
С 10 мая 1939 г. он заместитель начальника 5-го отдела ГУГБ НКВД СССР. Руководил подготовкой операции «Утка» (ликвидация Л. Д. Троцкого), успешно осуществленной 20 августа 1940 г. в Мексике Н, И. Эйтингоном и Р. Меркадером.
С 25 февраля 1941г. П. А. Судоплатов заместитель начальника 1-го (разведывательного) управления НКГБ СССР.
После начала Великой Отечественной войны П. А. Судоплатов с 5 июля 1941г. начальник Особой группы при наркоме внутренних дел СССР, с 3 октября 1941г.— 2-го отдела НКВД СССР. Одновременно с 30 ноября 1941 г. по 1 июня 1942 г. он заместитель начальника 1-го управления НКВД СССР.
С 18 января 1942 г. — начальник 4-го управления НКВД СССР, которое было создано на базе 2-го отдела. Руководил партизанскими и разведывательно-диверсионными операциями в ближних и дальних тылах противника, координировал работу агентурной сети на территории Германии и ее союзников. С 21 ноября 1942 г. по совместительству — заместитель начальника 1-го управления НКВД СССР. С 11 мая 1943 г. — начальник 4-го управления НКГБ СССР.
С февраля 1944 г. П. А. Судоплатов начальник группы «С» при наркоме внутренних дел СССР, руководил переводом и обобщением материалов по атомной проблематике, полученных агентурным путем. С мая по август 1945 ґ. по совместительству — начальник отдела «Ф» НКВД СССР. Этот отдел был создан для работы на территории стран, освобожденных Красной Армией от противника, а также для сбора информации от граждан СССР, побывавших в плену или интернированных в странах Европы.
В 1945—1947 гг. под фамилией П. Матвеев и прикрытием должности советника НКИД участвовал в подготовке и проведении конфиденциальных переговоров наркоминдела СССР В. М. Молотова с чрезвычайным и полномочным послом США в СССР А. Гарриманом и лидером курдского национального движения М. Барзани.
С 27 сентября 1945 г. П. А. Судоплатов начальник созданного на базе группы «С» самостоятельного отдела «С» НКВД (с 10 января 1946 г.- НКГБ) СССР. Одновременно начальник Объединенного разведывательного бюро Специального комитета при СНК-СМ СССР по проблеме № 1 (создание атомного оружия). Отвечал за координацию обеспечения разведывательными материалами руководителей и ведущих ученых советского ядерного проекта.
С ноября 1945 г. по совместительству — начальник отдела «К» НКГБ СССР, созданного для оперобслуживания атомных спецобъектов. С мая 1945 г. также являлся начальником Особого бюро — информационно-аналитической службы при наркоме внутренних дел СССР. С января 1946 г. эта служба подчинялась наркому, позднее — министру госбезопасности СССР.
После образования в марте 1946 г. МГБ СССР П. А, Судоплатов совмещал должности руководителя 4-го управления (до его упразднения 15 октября 1946 г.) и отдела «С» (с 4 мая 1946г. по 30 мая 1947г.).
15 февраля 1947 г. возглавил отдел «ДР», созданный для развертывания в случае войны разведывательно-диверсионной работы против военно-стратегических баз США и НАТО, расположенных вокруг СССР.
9 сентября 1950 г. утвержден начальником Бюро № 1 МГБ СССР по диверсионной работе за границей, созданного на базе спецслужбы МГБ СССР. 6 января 1951 г. возглавил Бюро на правах начальника управления.
После смерти И. В. Сталина П. А. Судоплатов был назначен 17 марта 1953 г. заместителем начальника ПГУ (контрразведка) МВД СССР. С 30 мая 1953 г. он начальник 9-го (разведывательно-диверсионного) отдела МВД СССР.
После хрущевского переворота 9-й отдел МВД был расформирован, а П. А. Судоплатов 31 июля 1953 г, переведен во ВГУ МВД СССР на должность начальника отдела. Однако уже 20 августа 1953 г. он был уволен «за невозможностью дальнейшего использования», а 21 августа 1953 г. арестован в собственном кабинете. Ему предъявили обвинение в бериевском заговоре, имевшем целью «уничтожение членов советского правительства и реставрацию капитализма».
До 1958 г. П. А. Судоплатов находился под следствием. Виновным себя не признал.
12 сентября 1958 г. на закрытом заседании ВК ВС СССР было рассмотрено дело по обвинению П. А. Судоплатова в преступлениях, предусмотренных ст. 17-58 п. 16 УК РСФСР. Он был приговорен к тюремному заключению сроком на 15 лет, с последующим поражением в политических правах на Згода. 17октября 1958г. лишен воинского звания и наград, как осужденный ВС СССР. С сентября 1958 г. отбывал наказание во Владимирской тюрьме, где перенес три инфаркта, ослеп на один глаз, получил инвалидность 2-й группы.
В августе 1968 г. П. А. Судоплатов вышел на свободу. После освобождения занялся литературной деятельностью. Под псевдонимом Андреев опубликовал три книги, активно участвовал в ветеранском движении/Более 20лет боролся за свою реабилитацию. Только 10 февраля 1992 г. в соответствии с Законом РФ «О реабилитации жертв политических репрессий» от 18 октября 1991 г. он был реабилитирован Главной военной прокуратурой РФ.
Незадолго до смерти в соавторстве с младшим сыном Анатолием Павловичем Судоплатовым опубликовал книгу воспоминаний о своей жизни и работе на английском, немецком, русском и других языках («Special Tasks» — США, 1994; «Der Handlanger der Macht. Enthullungen eines KGB-Generals» — Германия, 1994; «Разведка и Кремль» — Россия, 1996), ставшую международным бестселлером. Через полгода после смерти П. А. Судоплатова вышла в свет его последняя книга — «Спецоперации. Лубянка и Кремль 1930-1950».