Однако обстановка на Западе развивалась слишком стремительно. К концу 1940 года стало очевидно, что войны с Германией не избежать. Специалисты, хорошо знающие Германию, были очень востребованы. В декабре Павел Семенович переводится в Москву, а еще через некоторое время становится начальником кафедры разведки в Высшей специальной школе Генерального штаба.
После начала Великой Отечественной войны генерал-майор Рыбалко (воинское звание генерал-майора ему было присвоено еще в июне 1940 года) продолжает готовить разведчиков. Его назначают заместителем начальника школы по учебной и научной работе. Но гибель нескольких родственников в боях с оккупантами делает Павла Семеновича еще более настойчивым в стремлении попасть на фронт.
Это обстоятельство и отмечали — начальник школы генерал-майор Крылов, а также военный комиссар — полковой комиссар Новиков, давая ему блестящую характеристику: «…С самого начала пребывания в школе стремится к переходу на командную работу в войска. В последнее время в связи с гибелью близких родных на фронте сильно стремится принять непосредственное участие в действующей Красной Армии.
Дисциплинирован, в своих решениях тверд. Подчиненных держит в руках и среди них пользуется достаточным авторитетом. К походной жизни пригоден.
ВЫВОД: Занимаемой должности соответствует. Учитывая сложившуюся у него личную обстановку, целесообразно направить тов. Рыбалко для работы в войска. По своей подготовленности вполне может быть назначен зам. начальника штаба фронта (нач. оперотдела штаба фронта) или начальником штаба армии…»
Павла Семеновича вскоре назначили заместителем командующего 5-й танковой армией, которая формировалась в Московском военном округе.
Единственный сын генерала — Виль, еще раньше отца соединил свою судьбу с танковыми войсками. Он окончил танковое училище и весной 1942 года попал на Юго-Западное направление, в 48-ю отдельную танковую бригаду. В жаркие весенние дни, когда немецкое командование, воспользовавшись просчетами советского руководства, нанесло сильнейший контрудар под Харьковом, Виль Рыбалко пропал без вести в районе Барвенковского выступа. Позднее боевой товарищ Павла Семеновича, член Военного Совета генерал Мельников узнал, что Виль будто бы сгорел в танке. Но еще долго хранил мужественный генерал надежду на то, что сын найдется, что, может быть, он попал в плен…
Лето 1942 года выдалось жарким и в прямом, и в переносном смыслах. Очень быстро приходилось бывшему разведчику постигать науку управления крупным танковым объединением. Когда в тяжелых оборонительных боях под Воронежем погиб командующий армией отважный генерал Герой Советского Союза А. И. Лизюков, Павлу Семеновичу пришлось заменить боевого товарища.
Шла Сталинградская битва. 5-я танковая армия была переброшена на берег Волги. В этой обстановке советское командование приняло решение провести ротацию командующих 3-й и 5-й танковых армий. В результате командующим 5-й танковой армией стал опытный танкист генерал Романенко, а Павла Семеновича назначили командующим 3-й танковой армией, которая в тот период находилась на переформировании в тылу.
14 января 1943 года танкисты Рыбалко начали наступление из района северо-западнее Кантемировки. В ходе Острогожско-Россошанской, а затем и Харьковской наступательных операций были освобождены сотни населенных пунктов, уничтожено и взято в плен более 100 тысяч вражеских вояк. Заслуги командующего были отмечены присвоением очередного воинского звания «генерал-лейтенант» и награждением полководческим орденом Суворова 1-й степени.
Однако под Харьковом наши войска встретили ожесточенное сопротивление немцев. Более того, противник сам перешел в контрнаступление. Тяжело пришлось танкистам. За весь предыдущий период, в ходе наступления они практически не получали пополнения, воевали без отдыха. А ведь, как известно, всему наступает предел. И человеческим силам — тоже.
Обескровленные, почти без материальной части, танковые бригады были окружены в начале марта в Харькове. Ценой неимоверных усилий танкистам все же удалось пробиться к своим и занять оборону по реке Северский Донец.
После описываемых событий Ставка ВГК приняла решение переформировать 3-ю танковую армию в 57-ю общевойсковую. Однако П. С. Рыбалко в докладе Верховному Главнокомандующему удалось доказать поспешность и нецелесообразность такого решения. И справедливость восторжествовала! Третья танковая была не только «восстановлена», но и преобразована в 3-ю гвардейскую танковую армию. Почему преобразована? Потому что воссоздавалась она уже по новым штатам.
3-я гвардейская танковая армия доказала свою мощь и силу уже вскоре, во время Курской битвы. Гвардейцы-танкисты умело действовали под Орлом, блестяще выполнив все поставленные перед ними задачи.