1924 год – год военной реформы в Красной армии. Сбылось давнее желание Константина Константиновича – его направили в Ленинград в Высшую кавалерийскую школу. Вместе с ним учились Г. К. Жуков, И. Х. Баграмян, А. И. Еременко, также ставшие знаменитыми военачальниками. Учиться было нелегко, и лишь упорство слушателей, граничащее с фанатизмом, позволяло им справляться с учебной программой, тем более что срок обучения был сокращен до одного года и школу преобразовали в Кавалерийские курсы усовершенствования командного состава (ККУКС). По окончании их Рокоссовский возвратился в Забайкалье, где его ждали жена и недавно родившаяся дочь Ада. Год пролетел в боевой подготовке и хлопотах о большом хозяйстве 5-й отдельной Кубанской кавалерийской бригады. Рокоссовский временно исполнял обязанности ее командира, а в 1926 г. стал инструктором 1-й кавалерийской дивизии Монгольской Народно-революционной армии (МНРА). В Угру (Улан-Батор) молодой командир приехал вместе с семьей. Здесь он осуществлял обучение командиров всех рангов, помогал в формировании и организации частей и их штабов.
Вернулся Константин Константинович в СССР в 1928 г. в ту же 5-ю Кубанскую бригаду. К тому времени институт военных комиссаров отменили, ввели единоначалие. Роль и ответственность командира возросли, усилилась подготовка, и Рокоссовского командировали в Москву на курсы усовершенствования высшего начальствующего состава (КУВНАС). Он увлекался военной теорией, а по возвращении в апреле 1929 г. к своим кубанцам командиру предстояло на деле применить полученные знания.
В ответ на провокации китайских милитаристов и белогвардейцев на Китайско-Восточной железной дороге командование Особой Дальневосточной армии приняло меры. В трех последовательных операциях они были разгромлены. В одной из операций, Чжалайнор-Маньчжурской, огромную роль сыграла Кубанская бригада Рокоссовского. Форсировав по льду реку Аргунь, ее полки провели несколько боевых операций по разгрому китайских частей, взяли Чжалайнор. Бригада показала отличную боевую выучку, многие бойцы и командиры были награждены. Признанием заслуг командира также служила награда – третий орден Красного Знамени. Ему поручили переформировать Кубанскую бригаду в дивизию, что и было с блеском выполнено. За успехи в боевой подготовке частей дивизии К. К. Рокоссовский получил орден Ленина (первый из семи, заслуженных им в Советской армии), а в сентябре 1935 г. – звание комдива.
В начале 1936 г. Рокоссовскому пришлось проститься с Забайкальем – он стал командиром 5-го кавкорпуса, входившего в Ленинградский военный округ. Но в августе 1937 г. по ложному обвинению в связях с польской и японской разведками Константина Константиновича арестовали. Лишь в марте 1940 г. благодаря личному мужеству (его беспощадно били, но «нужных» показаний не получили) и заступничеству нового наркома обороны С. К. Тимошенко «дело» прекратили, его восстановили в правах и прежней должности. Генерал-майор Рокоссовский был направлен в Киевский военный округ. Предстояло сформировать и возглавить 9-й механизированный корпус. К роковому дню 22 июня корпус был укомплектован личным составом, но имел на вооружении не более трети танков устаревших образцов (Т-26, БТ-5, БТ-7), с сильно изношенными моторами.
При поступлении тревожных сведений 22 июня 1941 г. Рокоссовский не растерялся. Под личную ответственность он вскрыл особый секретный оперативный пакет, а также открыл центральные склады с боеприпасами и гарнизонный парк автомобилей. Уже в четырнадцать часов корпус выдвинулся в направлении Новоград-Волынский – Ровно – Луцк, с марша вступая в бой. Решительные действия Рокоссовского в первые дни войны позволили оказать помощь частям, окруженным вблизи Луцка. Благодаря умелому сочетанию усилий пехоты, артиллерии и небольшого количества танков противник был задержан и потерпел существенный урон.
Во время наступления немцев на Москву Рокоссовский командовал войсками 16-й армии. В эти дни командарм сутками находился либо в частях, либо на командном пункте; поспать удавалось лишь в машине при переездах с одного участка обороны на другой. Им были успешно проведены оборонительные и контрнаступательные операции, разгромлены ударные группировки противника, пытавшиеся обойти Москву. На окраине Волоколамска вела бои знаменитая 316-я стрелковая дивизия генерала Панфилова. 28 героев, задержав противника, дали возможность частям 16-й армии занять оборону и не пустить фашистов к Волоколамскому шоссе. Авторитет Рокоссовского был настолько велик, что при освобождении Сухиничей он путем ложных переговоров и перемещением войск создал видимость развертывания армии, после чего немцы сами оставили город, продолжая его обстреливать. В один из таких обстрелов, 8 марта 1942 г., снаряд разорвался рядом со штабом и осколок попал в спину командарма. В госпитале он наконец встретился с женой и дочерью, о судьбе которых ничего не знал с самого начала войны.