Прекрасно показавшего себя командира оставляют в армии, и он отдает всего себя военной службе. После окончания курсов усовершенствования высшего начсостава РККА при Военной академии имени М. В. Фрунзе он служит заместителем комиссара кавалерийского полка, командиром и комиссаром эскадрона, командиром-комиссаром отдельного кавалерийского дивизиона в Монголии, командиром и комиссаром казачьего полка и временно исполняющим должность командира 1-й кавалерийской бригады 2-й кавалерийской дивизии Украинского военного округа. Перед поступлением в академию в 1931 г. Рыбалко – командир-комиссар прославленного 7-го кавалерийского Черниговского Червонного казачества полка 2-й кавалерийской дивизии Украинского военного округа.
После окончания в 1934 г. Военной академии имени М. В. Фрунзе Рыбалко командируется по линии Разведывательного управления военным советником в Китай (там он официально именовался «русским генералом китайской службы»). В Китае недавний кавалерист показал себя не только талантливым общевойсковым командиром, но и одаренным разведчиком, сумевшим наладить сбор ценной военной информации по Японии. Вскоре именно это обстоятельство стало причиной перевода Рыбалко на военно-дипломатическую работу в ключевых для безопасности СССР странах и продолжению его карьеры военного разведчика.
После возвращения из Китая Рыбалко ожидает сначала служба в Средней Азии в должности помощника командира 8-й Туркестанской горно-кавалерийской дивизии, а потом новая командировка за границу по линии военной разведки. Сначала он работает военным атташе в Польше, а после ее поражения в войне с Германией – в Китае.
Особо отметим, что, находясь в Польше, Рыбалко имел возможность наблюдать воочию немецкую тактику применения в ходе «блицкрига» танковых соединений, что имело большое значение в будущем для его становления как танкового командира.
После окончания работы в Китае (во время которой ему было присвоено звание генерал-майора танковых войск), в декабре 1940 г., Рыбалко сначала находится в распоряжении Разведывательного управления штаба РККА и выполняет специальные задания, а в сентябре 1941 г. назначается начальником кафедры разведки Высшей специальной школы Генерального штаба.
Хотя подготовка высококвалифицированных военных разведчиков была крайне важна для армии, но Рыбалко изо всех сил стремился на фронт. Он подает один за одним несколько рапортов, но все они получают твердый отказ со стороны командования – генерал был необходим военной разведке в спецшколе.
Но все же его настойчивость принесла плоды – в мае 1942 г. Павел Семенович назначается заместителем командующего 3-й танковой армии (ТА). Рыбалко сразу же показывает свои незаурядные качества командира-танкиста и уже в июле становится командующим 5-й ТА Брянского (потом Юго-Западного) фронта (предыдущий командующий генерал-майор Александр Лизюков героически погиб в бою).
Все это время Рыбалко воевал, не зная о судьбе сына, о котором весной 1942 г. пришло извещение о пропаже без вести. Лишь позднее стало известно, что лейтенант-танкист Вилен Рыбалко сгорел в своем танке на Барвенковском выступе.
25 сентября Рыбалко назначается командующим 3-й ТА, которая в это время, после понесенных огромных потерь, находилась на переформировании в тылу.
После проведенной подготовки 3-я ТА приняла участие в Острогожско-Россошанской операции, в ходе которой ей была поставлена задача нанести главный удар по немецкой обороне на 16-километровом участке и, развивая охватывающие удары из района северо-западнее Кантемировки, соединиться в районах Каменки, Острогожска и Алексеевки с 40-й армией и 18-м отдельным стрелковым корпусом.