В разгар боев Константин Константинович приказом Ставки ВГК был назначен командующим армией на Западный фронт и, таким образом, встал в ряды непосредственных защитников советской столицы. Под Москвой, куда он прибыл 15 июля, ему предстояло возглавить одну из вновь создаваемых подвижных групп в составе нескольких танковых и стрелковых дивизий для действий на главном — смоленско-вяземском направлении. Предназначенные ему войска еще не прибыли, и командующий фронтом маршал Тимошенко приказал подчинять себе любые части и соединения для организации противодействия врагу.
В этих условиях многое зависело от личного примера. В один из первых дней боев Рокоссовский с командующим артиллерией группы генералом И.П. Камерой решили проконтролировать, как окопалась пехота. Неожиданно из-за гребня невдалеке расположенных высот появились густые цепи вражеских солдат, а затем и танки. Наши бойцы дрогнули и стали отходить. Что было делать генералам — кричать, грозить оружием? Нет, они встали во весь рост, на виду у всех — рослые, несуетливые, видимые со всех сторон. И это оказалось самым действенным средством против паники.
В толпе бегущих сначала робко, а затем все увереннее зазвучали громкие возгласы:
— Стой! Куда бежишь?
— Не видишь? Генералы стоят. Назад!
Бойцы вернулись в свои окопы и дружным огнем обратили противника вспять. Константин Константинович по этому поводу говорил, что он не сторонник напускной бравады и рисовки. Эти качества не отвечают правилам поведения командира, но бывают случаи, когда необходимо встать выше правил.
Захватив Ярцево, танковые соединения Гота стремились продвинуться по шоссе к Вязьме и одновременно развить наступление на юг к Ельне, в которую уже ворвались немецкие части. Группа Рокоссовского получила приказ командующего фронтом на наступление. В условиях безраздельного господства вражеской авиации она сумела овладеть Ярцевом и в течение нескольких дней отражала ожесточенные атаки танковых частей противника. 27 июля Тимошенко доносил в Ставку: «Ярцево твердо удерживается Рокоссовским».
На следующий день советское командование сумело организовать контрудар, в отражение которого втянулись все части и соединения 3-й танковой группы врага. 1 августа одновременным ударом группы войск Рокоссовского с востока и частей 16-й и 20-й армий с запада фронт окружения в районе Смоленска был прорван. Начались бои по обеспечению вывода советских частей и соединений из окружения.
Это был крупный успех. Гитлер — впервые во Второй мировой войне (!) — был вынужден отдать группе армий «Центр» приказ о переходе к обороне. И хотя обстановка в районе Смоленска продолжала оставаться сложной, стало ясно, что, как справедливо заметил Рокоссовский в книге мемуаров, «гитлеровский план “молниеносной войны” затрещал».
Установившееся относительное затишье нарушилось с рассветом 2 октября: противник, начавший генеральное наступление на Москву, нанес сильный удар на центральном участке обороны 16-й армии, во главе которой был поставлен Рокоссовский. Его здесь ожидали, поэтому враг был отброшен с большими потерями.
5 октября по приказу нового командующего фронтом генерала армии Г.К. Жукова Рокоссовский вместе со штабом переместился на волоколамское направление для организации обороны столицы в полосе от Московского моря на севере и до Рузы на юге. События развивались стремительно: 14 октября Константин Константинович прибыл в Волоколамск, а уже 16 октября враг нанес удар по левому флангу обороны армии.
Наши войска надежно перекрыли Ленинградское и Волоколамское шоссе, по которым противник прежде всего стремился прорваться к Москве. В течение двух недель армия сдерживала значительно превосходившие силы врага.
Командарм-16 создал на наиболее угрожаемых участках прочные противотанковые и артиллерийские очаги обороны, вынуждавшие врага прорывать все новые и новые позиции, применял имевшиеся у него танки не только против пехоты противника, но и сосредоточенно, для борьбы с вражескими танками. Оба шоссе и танкоопасные направления между дорогами были заминированы, были также взорваны шлюзы Истринского водохранилища, что сильно замедлило продвижение танковой группы врага. Именно в составе 16-й армии покрыли себя неувядаемой славой воины стрелковых дивизий: 316-й генерала И.В. Панфилова и 78-й — полковника А.П. Белобородова, танкисты генерала М.Е. Катукова, кавалеристы генералов Л.М. Доватора и И.А. Плиева.
27 октября под ударом многократно превосходящих сил врага, применившего 125 танков, пришлось оставить Волоколамск, но войска отошли на заранее подготовленный рубеж, по-прежнему перекрывая путь к столице.
На следующий день произошел эпизод, вызвавший крайнее возмущение Рокоссовского. В штаб армии прибыл генерал армии Жуков во главе специальной комиссии для расследования обстоятельств сдачи города. Константин Константинович был убежден, что никакой необходимости в подобном разбирательстве и примерном наказании виновных нет, и потому подчиненных в обиду не дал.