Свои детские и юношеские годы Петр Румянцев провел под руководством отца – Александра Ивановича, который выдвинулся при Петре I, затем подвергся опале и ссылке при Анне Иоанновне, но вскоре был прощен и успешно продолжил карьеру; с 1736 г. начальствовал над Малороссией, одновременно участвовал в дипломатических и военных делах, дослужился до генерал-аншефа. Знаменитым был дед (по матери) Румянцева – боярин Артемон Матвеев, ближайший советник и друг царя Алексея Михайловича, убитый мятежными стрельцами в 1682 г.
Петр Румянцев с детства отличался пылким темпераментом, живым воображением и быстрым умом. С шести лет он был зачислен рядовым в гвардию, но получил по преимуществу домашнее воспитание и образование. Попытка его учебы в Сухопутном кадетском корпусе (1740) была неудачной из-за неусидчивости и шалостей, учеба продолжалась всего четыре месяца, после чего распоряжением генерал-фельдмаршала Миниха юный Румянцев был направлен в армейский полк подпоручиком. Вскоре он принял участие в русско-шведской войне 1741—1743 гг. Доставил Елизавете в Петербург мирный договор со Швецией, подписанный в Або при непосредственном участии его отца-дипломата, был произведен из капитанов сразу в полковники. За Абоский мирный договор отец получил графское достоинство «со всем нисходящим потомством», начиная с сына, которому тогда было 18 лет. Составленный отцом графский герб имел девиз (на латинском языке): «Не только оружием»; со временем он станет символичным и для сына.
Молодой граф окунулся в «удалую жизнь», его проказы так донимали отца, что тот писал Петру: «Мне пришло до того: или уши свои зашить и худых дел ваших не слышать, или отречься от вас…» По настоянию родителей Румянцев женился на княжне Е. М. Голицыной (брак оказался не очень удачным, супруги прожили в согласии только шесть лет). Нетрудным испытанием для него стало участие в демонстративном походе русского корпуса на Рейн для поддержки Австрии, которой угрожала Пруссия (1748).
После смерти отца в 1749 г. Румянцев, вступив во владение большой собственностью, постепенно переменился, посерьезнел. Ровнее пошла и его военная служба.
В Семилетнюю войну, принесшую ему военную известность, Петр Александрович вступил генерал-майором. В сражении против пруссаков при Грос-Егерсдорфе (август 1757) главнокомандующий С. Апраксин поручил Румянцеву резерв из трех пехотных полков. Располагаясь по другую сторону леса, окаймлявшего Егерсдорфское поле, начальник резерва в критический момент битвы самостоятельно принял решение выдвинуться вперед. Неожиданное появление румянцевских полков и их решительная атака переломили ход сражения: противник был остановлен, а затем русские войска заставили его в беспорядке отступить.
Став генерал-поручиком (1758), Петр Александрович получил под свое начало дивизию, с которой он доблестно действовал в сражении под Кунерсдорфом (август 1759). По плану сражения, разработанному главнокомандующим П. Салтыковым, дивизия Румянцева обороняла позицию русских войск в центре, на высоте Большой Шпиц. После того как пруссаки опрокинули русский левый фланг, они атаковали Большой Шпиц, но были отброшены. Тогда Фридрих II ввел в бой свои лучшие силы – конницу Ф. Зейдлица. Русские войска центра, усиленные частями правого фланга и резерва, отбили и этот штурм. Затем полки Румянцева нанесли контрудар штыковой атакой, опрокинули прусскую пехоту, заставив ее бежать с поля боя. За Кунерсдорф Петр Александрович был удостоен ордена Святого Александра Невского. Неудачнику Кунерсдорфа – прусскому королю Фридриху II приписывают слова: «Бойтесь собаки-Румянцева. Все прочие русские военачальники не опасны».
В 1761 г. корпус Румянцева во взаимодействии с эскадрой Балтийского флота блокировал крепость Кольберг (Колобжег) на побережье Балтийского моря. Подступы к крепости прикрывал укрепленный лагерь, где находился 12-тысячный отряд принца Вюртембергского. В августе Румянцев атаковал лагерь и взял его, в начале сентября осадил Кольберг. Невзирая на рекомендации главнокомандующего А. Бутурлина снять осаду и отойти на зимние квартиры, Румянцев своими настойчивыми действиями заставил гарнизон крепости в декабре капитулировать. В ходе осады Кольберга впервые в истории русского военного искусства были использованы элементы тактической системы «колонна—рассыпной строй».
Вскоре Петр III, сменивший на троне умершую Елизавету, вывел Россию из войны с Пруссией. Новый император наградил Румянцева чином генерал-аншефа, орденами Святой Анны 1-й степени и Святого Андрея Первозванного. Предполагалось, что он хотел использовать талантливого военачальника для войны с Данией, которая не состоялась из-за преждевременной насильственной смерти Петра III.