После вступления на престол Екатерины II Петр Александрович не присягал новой государыне, пока не удостоверился в смерти Петра III, Екатерина с недовольством отнеслась к поступку генерала, но затем, ценя его способности, решила использовать их на благо государства, В 1764 г. Румянцев был назначен генерал-губернатором Малороссии, главным командиром малороссийских казацких полков, запорожских казаков и Украинской дивизии. По поводу Украины императрица тогда сетовала: «От этой плодородной и многолюдной страны Россия не только не имеет доходов, но вынуждена посылать туда ежегодно по 48 тысяч рублей». В должности генерал-губернатора Малороссии, не оставляя военной деятельности, Петр Александрович оставался до самой смерти.
Свой талант военачальника и полководца Румянцев ярко раскрыл в русско-турецкой войне 1768—1774 гг. Саму эту войну зачастую называют «румянцевской», поскольку главные победы русских войск в ней связаны с его именем. С началом военных действий против Турции Петр Александрович был назначен командовать 2-й Украинской армией, которая должна была отвлекать турок от действий против 1-й русской армии, наступавшей на главном направлении. Но вскоре Екатерина, желая вести войну более активно, назначила его командующим 1-й армией вместо генерал-аншефа А. Голицына. Румянцев полностью оправдал ожидания императрицы. Двинувшись от Хотина к Дунаю, он в осенне-зимнюю кампанию 1769/70 г. очистил от турок Валахию и взял Журжу. В июне 1770 г., применяя принцип «врозь двигаться, вместе драться», Румянцев разбил 20-тысячное турецко-татарское войско в сражении под Рябой Могилой на западном берегу Прута.
Сохраняя инициативу в действиях против численно превосходящего противника, армия Румянцева (38 тысяч человек) у устья реки Ларги атаковала войска крымского хана Каплан-Гирея (65 тысяч татарской конницы и 15 тысяч турецкой пехоты). Перегруппировав ночью войска, русский командующий на рассвете 7 июля нанес удар по правому флангу противника и после 8-часового сражения обратил неприятеля в бегство. При Ларге Румянцев смело использовал расчлененные боевые порядки – дивизионные и полковые каре, умело применял артиллерию и маневр силами. После сражения Петр Александрович лично подъезжал к каждому из начальников и выражал им признательность за распорядительность и мужество, а их подчиненным – за рвение и храбрость. За победу при Ларге Румянцев был награжден орденом Святого Георгия 1-й степени. Не считая Екатерины II, возложившей на себя этот орден как его учредительница, он стал первым кавалером высшей степени этого военного ордена Российской империи.
Особо громкую славу Румянцеву принесло сражение у реки Кагул 21 июля 1770 г., в котором была одержана одна из самых крупных побед русской армии в XVIII в. В этом сражении его войскам (38 тысяч человек, 149 орудий) противостояла турецкая армия великого визиря Халиль-паши (до 150 тысяч человек, 150 орудий). Успех был достигнут благодаря массированию сил на направлении главного удара (против левого фланга противника), применению расчлененных боевых порядков, искусному маневру огнем и войсками. В критический момент, когда русские дрогнули перед неожиданной контратакой турецких янычар, Румянцев со словами: «Теперь дело дошло и до нас» бросился в гущу отступавших солдат. Его появление и призыв в один момент изменили обстановку, и русские, восстановив порядок, устояли, отбили натиск противника и пошли вперед, к победе. Герой Кагула Румянцев был удостоен чина генерал-фельдмаршала. Вскоре его армия очистила от неприятеля левый берег нижнего течения Дуная. А в 1771 г. был отвоеван и правый берег реки. По заключении Кючук-Кайнарджийского мира Екатерина пожаловала полководцу почетное добавление к фамилии – «Задунайский», шпагу с алмазами и велела в честь фельдмаршала выбить специальную медаль. Она желала, чтобы по примеру римских полководцев он имел въезд в столицу через триумфальные ворота, но Румянцев из скромности отказался от этой почести.