В период Великой Отечественной войны командовал гвардейской танковой армией, пройдя с армией путь от Орла до реки Эльбы. На заключительном этапе Великой Отечественной войны гвардейская танковая армия под командованием генерала П. С. Рыбалко принимала участие во взятии гор. Берлина, в окончательном разгроме немецко-фашистских войск на территории Чехословакии и в освобождении столицы Чехословакии — города Праги.
Командарму за умелое руководство объединением, отличное и своевременное выполнение поставленных перед ним задач, мужество и героизм, проявленные в сражениях с немецко-фашистскими захватчиками, было дважды присвоено звание Героя Советского Союза. Он был удостоен десяти орденов и ряда медалей СССР.
Войскам его армии было объявлено 20 благодарностей Верховного Главнокомандующего.
Указом Президиума Верховного Совета СССР от 1 июня 1945 года генералу П. С. Рыбалко присвоено воинское звание — «Маршал бронетанковых войск»
После победоносного окончания войны с фашистской Германией Маршал П. С. Рыбалко был выдвинут на пост командующего бронетанковыми и механизированными войсками Красной Армии, где проявил себя умелым руководителем в обучении войск и укреплении советских бронетанковых и механизированных войск.
В 1946 году он был избран депутатом Верховного Совета СССР второго созыва.
Умер дважды Герой Советского Союза маршал бронетанковых войск П. С. Рыбалко после тяжелой и продолжительной болезни 28 августа 1948 года.
Доблестный танковый военачальник был похоронен с соответствующими воинскими почестями на Новодевичьем кладбище.
В память о славном сыне Отечества на его родине в селе Малый Истороп Лебединского района Сумской области Украины и в Пражском пантеоне Чехословакии установлены бюсты, а в городах Москве и Харькове — соответствующие мемориальные доски.
На его малой родине создан музей прославленного земляка.
В Москве, Киеве, Житомире, Перми и в других городах есть улицы, носящие имя маршала П. С. Рыбалко, а у Волжского речного пароходства один из круизных теплоходов называется «Маршал Рыбалко».
Имя дважды Героя Советского Союза маршала бронетанковых войск П. С. Рыбалко в декабре 1961 года было присвоено ранее существовавшему Ташкентскому высшему танковому командному училищу.
В заключение очерка о доблестном танковом военачальнике приведу строки из воспоминаний бывшего башенного стрелка «персонального» маршальского танка, полковника в отставке, писателя Мусы Гайсина:
«…Танкисты рассказали, что Рыбалко воевал еще в Гражданскую. Командовал полком, был лихим кавалеристом. Однажды во время боя за железнодорожную станцию его конь на скаку споткнулся о рельс. Всадник упал на колею, ударился, получил сильный ушиб печени. С тех пор она у него болела. Иногда из-за этого генерал вынужден был ходить с палкой. Но мужественный командир не сдавался, сумел сделать блестящую военную карьеру. Перед войной служил военным атташе посольства СССР в Польше, а затем в Китае. В начале войны Павла Семеновича назначили начальником кафедры Академии Генштаба. Он, конечно, хотел на фронт. Но в армии принято служить там, где приказывают. Его желание осуществилось лишь в мае 1942 года. Павла Семеновича назначили заместителем командующего 3-й танковой армией, которая, кстати, формировалась неподалеку от Ясной Поляны — усадьбы Льва Толстого. А в сентябре Рыбалко возглавил армию. Вскоре после прибытия на фронт жена сообщила ему страшную весть: весной во время боев за Харьков в танке сгорел их единственный сын лейтенант Вилен Рыбалко. Это горе, безусловно, тоже крепко подкосило здоровье генерала. Но он виду не подавал. Наоборот, старался подбадривать всех, подшучивал над собой и другими. Как-то во время чаепития пригласил меня к столу, посадил. И вскоре начал распекать за то, что я насыпал ему в стакан слишком много сахара: „Что ты делаешь, я уже и так в люк не влезаю…“
…Кстати, самый первый во время войны орудийный салют в Москве, который начали производить с июля 1943 года по приказу Верховного Главнокомандующего в честь особо отличившихся фронтовых соединений, был дан в честь нашей танковой армии после Курской битвы и освобождения Орла и Белгорода. Павла Семеновича тогда наградили орденом Кутузова I степени.
…Очевидно, после того как я подбил шесть немецких „тигров“ и мой боевой счет продолжал расти, генералу доложили о моих успехах. Генерал, точнее, его помощники формировали экипаж для „персонального“ танка командарма. Подобрали лучших механика-водителя, стрелка-радиста, заряжающего. Мне предложили занять место командира башни (так еще называли должность башенного стрелка). Я отказался, хотя сам Рыбалко несколько раз уговаривал. Танк командарма в бой редко ходит. А мне страшно нравилось воевать.