После возвращения из Китая Рыбалко ожидает сначала служба в Средней Азии в должности помощника командира 8-й Туркестанской горно-кавалерийской дивизии, а потом новая командировка за границу по линии военной разведки. Сначала он работает военным атташе в Польше, а после ее поражения в войне с Германией – в Китае.
Особо отметим, что, находясь в Польше, Рыбалко имел возможность наблюдать воочию немецкую тактику применения в ходе «блицкрига» танковых соединений, что имело большое значение в будущем для его становления как танкового командира.
После окончания работы в Китае (во время которой ему было присвоено звание генерал-майора танковых войск), в декабре 1940 г., Рыбалко сначала находится в распоряжении Разведывательного управления штаба РККА и выполняет специальные задания, а в сентябре 1941 г. назначается начальником кафедры разведки Высшей специальной школы Генерального штаба.
Хотя подготовка высококвалифицированных военных разведчиков была крайне важна для армии, но Рыбалко изо всех сил стремился на фронт. Он подает один за одним несколько рапортов, но все они получают твердый отказ со стороны командования – генерал был необходим военной разведке в спецшколе.
Но все же его настойчивость принесла плоды – в мае 1942 г. Павел Семенович назначается заместителем командующего 3-й танковой армии (ТА). Рыбалко сразу же показывает свои незаурядные качества командира-танкиста и уже в июле становится командующим 5-й ТА Брянского (потом Юго-Западного) фронта (предыдущий командующий генерал-майор Александр Лизюков героически погиб в бою).
Все это время Рыбалко воевал, не зная о судьбе сына, о котором весной 1942 г. пришло извещение о пропаже без вести. Лишь позднее стало известно, что лейтенант-танкист Вилен Рыбалко сгорел в своем танке на Барвенковском выступе.
25 сентября Рыбалко назначается командующим 3-й ТА, которая в это время, после понесенных огромных потерь, находилась на переформировании в тылу.
После проведенной подготовки 3-я ТА приняла участие в Острогожско-Россошанской операции, в ходе которой ей была поставлена задача нанести главный удар по немецкой обороне на 16-километровом участке и, развивая охватывающие удары из района северо-западнее Кантемировки, соединиться в районах Каменки, Острогожска и Алексеевки с 40-й армией и 18-м отдельным стрелковым корпусом.