9-й мехкорпус под командованием Рокоссовского принял участие в танковом сражении 1941 года под Дубно, Луцком и Ровно. Действия советских танкистов не позволили тогда противнику окружить войска Красной Армии в Львовском выступе. За боевые действия в начале войны Рокоссовский был награжден четвертым орденом Красного Знамени.
В разгар боев Рокоссовский был вызван в Москву, где получил новое назначение — на Западный фронт.
В. И. Казаков, маршал артиллерии
Командующий фронтом маршал С. К. Тимошенко, ставя Рокоссовскому боевую задачу, предупредил, что предназначенные для него дивизии еще не прибыли, поэтому приказал подчинять себе любые части и соединения для организации противодействия врагу в р-не Ярцево под Смоленском. Так прямо в процессе боев началось формирование соединения, в штабных документах именовавшегося группой генерала Рокоссовского.
Человек высокой культуры, он умел терпеливо выслушать каждого, тут же выделить главную мысль в суждениях собеседника и использовать в интересах дела знания коллектива.
«Узнав, что в районе Ярцево и по восточному берегу реки Вопь находятся части, оказывающие сопротивление немцам, люди уже сами потянулись к нам… — вспоминал Рокоссовский. — Мне представляется важным засвидетельствовать это как очевидцу и участнику событий. Многие части переживали тяжелые дни. Расчлененные танками и авиацией врага, они были лишены единого руководства. И все-таки воины этих частей упорно искали возможности объединиться. Они хотели воевать. Именно это и позволило нам преуспеть в своих организаторских усилиях по сколачиванию подвижной группы».
Успешные действия «группы Рокоссовского» способствовали срыву попыток врага окружить и уничтожить войска Западного фронта под Смоленском. После Смоленского сражения Рокоссовский был назначен командующим 16-й армией, особенно отличившейся в Московской битве. В критические дни обороны Москвы ее войска оказались на направлении главного удара немецких войск, обороняя северо-западные подступы к столице, и сделали все, чтобы остановить врага. Константин Константинович постоянно подавал подчиненным пример бодрости, энергии, новаторства в решении оперативно-тактических задач.
В тяжелейшем октябре 1941-го в беседе с корреспондентом «Красной Звезды» он убежденно говорил
Не случайно из 16-й армии вышли многие прославленные командиры — Панфилов, Доватор, Катуков, Белобородов и другие. Зимой 1941–1942 гг. под командованием Рокоссовского 16-я армия успешно участвовала в контрнаступлении под Москвой, но в марте в только что освобожденных Сухиничах командарм был тяжело ранен осколком снаряда.
Вскоре после излечения и возвращения в 16-ю армию Рокоссовский был назначен командующим Брянским фронтом.
С этого момента и до конца войны он командовал рядом фронтов в следующей последовательности: Брянским, Донским, Центральным, Белорусским, 1-м и 2-м Белорусскими.
В должности командующего фронтом полководческое дарование Рокоссовского раскрылось во всей своей полноте. Назначенный в сентябре 1942 года командующим Донским фронтом, вместе с командующими Юго-Западным (Н. Ф. Ватутин) и Сталинградским (А. И. Еременко) фронтами Рокоссовский принял непосредственное участие в подготовке и проведении операции «Уран», целью которой являлось окружение и разгром немецко-фашистской группировки под Сталинградом.
После того как войска противника оказались в «котле», по решению Верховного главнокомандующего именно Донскому фронту было поручено расчленить и пленить окруженную вражескую группировку. За победу в Сталинградской битве Рокоссовский был удостоен ордена Суворова 1-й степени.