Сразу после создания КГБ СССР был переведён туда и в марте 1954 года назначен начальником 5-го управления (экономическая контрразведка) КГБ при СМ СССР.
С июня 1954 года — заместитель председателя КГБ, с января 1956 года — первый заместитель председателя КГБ при Совете министров СССР. 5—13 ноября 1961 года — и. о. председателя КГБ при СМ СССР.
«Он рассказывал, что вся работа в КГБ лежала на нем как на заместителе председателе Комитета. Приходили и уходили, как Петр Иванович выразился, «комсомольцы» (Шелепин, Семичастный), люди, политически зрелые, но мало что понимающие в контрразведке. Ивашутину приходилось ездить с Хрущевым по миру, обеспечивая его безопасность. Словом, он устал и сказал об этом в отделе административных органов ЦК. А в это время разразился скандал с Пеньковским. ГРУ подверглось серьезной проверке ЦК, от занимаемых должностей освободили Серова, припомнив ему прежние дела с выселением народов, его первого заместителя А. Рогова, начальника управления кадров И. Смоликова. Были наказаны и уволены из армии офицеры, допустившие серьезные нарушения в работе с кадрами».
18 марта 1963 года по 13 июля 1987 года — начальник Главного разведывательного управления — заместитель начальника Генерального штаба Вооружённых сил СССР.
Общий стаж службы Петра Ивановича Ивашутина в ГРУ составил 24 года.
Одной из первоочередных задач, которую пришлось решать Ивашутину, было сведение к минимуму того ущерба, который нанёсло ГРУ предательство О. В. Пеньковского.
По инициативе Петра Ивановича в ГРУ ещё в 1963 году начала создаваться система круглосуточного получения информации и её оценки с целью выявления признаков повышения боеготовности иностранных вооружённых сил. Другими словами, создавалась система предупреждения высшего руководства страны о военных угрозах в режиме реального времени. Данная система впоследствии стала называться Командным пунктом. Эта работа, начатая Ивашутиным в 1960-х годах, стала впоследствии основой для создания Национального центра управления обороной Российской Федерации.
В 1963 году Ивашутин совершает поездку на Кубу. Результатом этой поездки было развёртывание в Лурдесе (пригороде Гаваны) центра технической разведки.
По настоянию Ивашутина было начато строительство нового комплекса зданий для нужд ГРУ на Хорошёвском шоссе в Москве[6].
После появления в космосе первых разведывательных спутников по инициативе Ивашутина в ГРУ появился отдел Космической разведки.
С июля 1987 года Ивашутин работал в Группе генеральных инспекторов Министерства обороны СССР.
Надгробный памятник на могиле Ивашутина П. И. на Троекуровском кладбище.
С мая 1992 — в отставке.
Пётр Иванович Ивашутин скончался 4 июня 2002 года в Москве. Похоронен на Троекуровском кладбище (участок 4). На памятнике выгравирована надпись: «Жизнь отдана разведке. 25 лет во главе ГРУ».
Жена Мария Алексеевна (1912–2001), сын Юрий, дочь Ирина.
Капитан государственной безопасности — 04.02.1939;
майор государственной безопасности — 16.04.1942;
полковник — 14.02.1943;
генерал-майор — 26.05.1943;
генерал-лейтенант — 25.09.1944;
генерал-полковник — 18.02.1958;
генерал армии — 23.02.1971.
Герой Советского Союза (21.02.1985, за мужество и отвагу, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, и успешную деятельность по укреплению Вооружённых Сил СССР в послевоенный период).
Орден «За заслуги перед Отечеством» III степени (Российская Федерация, 28.08.1999).
3 ордена Ленина (13.09.1944[8], 21.02.1978, 21.02.1985).
Маршальская звезда (вручена 1.11.1974).
Орден Октябрьской Революции (21.02.1974).
5 орденов Красного Знамени (19.03.1944, 23.05.1952, 21.02.1964, 31.10.1967, 28.04.1980).
Орден Богдана Хмельницкого I степени (28.04.1945)[10].
2 ордена Кутузова II степени (29.06.1945[11], 04.11.1981 — по результатам проведения учений Запад-81).
2 ордена Отечественной войны I степени (26.10.1943[12], 11.03.1985).
Орден Трудового Красного Знамени (07.10.1959).
3 ордена Красной Звезды (07.04.1940, 17.04.1943[13], 06.11.1946).
Медали СССР
Медали РФ
Иностранные ордена и медали.
Высшие ведомственные награды органов госбезопасности СССР:
Заслуженный работник НКВД (1942)
Почётный сотрудник госбезопасности (1958)
Знак «За службу в военной разведке» (№ 001, вручён 5.11.1998)
Ивашутин П. И. Докладывала точно (воспоминания о минувшей войне). // Военно-исторический журнал. — 1990. — № 5. — С.55–59.
Ивашутин П. И. Стратегия вероломства. // Военно-исторический журнал. — 1991. — № 6. — С.4—11.
В Москве в Хорошёвском районе, его именем названа улица (2017).