17 июля он прибыл к командующему фронтом Тимошенко. Тот поставил боевую задачу, но предупредил, что предназначенные ему дивизии еще не прибыли. «Подойдут регулярные подкрепления — дадим тебе две-три дивизии, — сказал маршал на прощание, — а пока подчиняй себе любые части и соединения для организации противодействия врагу на ярцевском рубеже». Вот так прямо в процессе боев началось формирование соединения, получившего официальное название «группа генерала Рокоссовского».
Первой дивизией, которую штаб встретил на пути к Ярцево, оказалась 38-я стрелковая полковника М. П. Кириллова из 19-й армии генерала И. С. Конева. Ее Рокоссовский развернул восточнее Ярцево, уже захваченного противником. Вслед за стрелковым соединением в группе Рокоссовского появилась 101-я танковая дивизия Героя Советского Союза полковника Г. М. Михайлова, в которой насчитывалось около 90 танков, из них семь новых тяжелых боевых машин. Пополнялись и отходящими с фронта и выходящими из окружения отдельными подразделениями, и даже одиночками.
«Узнав, что в районе Ярцево и по восточному берегу реки Вопь находятся части, оказывающие сопротивление немцам, люди уже сами потянулись к нам… — писал Рокоссовский. — Мне представляется важным засвидетельствовать это, как очевидцу и участнику событий… Многие части переживали тяжелые дни. Расчлененные танками и авиацией врага, они были лишены единого руководства. И все-таки воины этих частей упорно искали возможности объединиться. Они хотели воевать. Именно это и позволило нам преуспеть в своих организаторских усилиях по сколачиванию подвижной группы».
В этих условиях многое зависело от личного примера командующего. В один из первых дней боев Рокоссовский с командующим артиллерией группы генералом И. П. Камерой решили посмотреть, как окопалась пехота. Неожиданно из-за гребня невдалеке расположенных высот появились густые цепи вражеских солдат, а затем и танки. Наша пехота открыла огонь по наступавшим, подала голос и гаубичная артиллерия. Немцы залегли, но не надолго. При поддержке авиации и артиллерии вперед вновь двинулись пехота и танки с черно-белыми крестами.
Наши бойцы дрогнули: к лесу стали отходить сначала одиночки, а затем уже и группы. Что было делать генералам — кричать, грозить оружием? Нет, они встали во весь рост, на виду у всех — рослые, несуетливые, видимые со всех сторон. И это оказалось самым действенным средством против паники.
В толпе бегущих сначала робко, а затем все увереннее зазвучали громкие возгласы:
— Стой! Куда бежишь? Назад!..
— Не видишь? Генералы стоят. Назад!
Бойцы вернулись в свои окопы и дружным огнем вынудили противника снова залечь. Константин Константинович по этому поводу говорил: «Я не сторонник напускной бравады и рисовки. Эти качества не отвечают правилам поведения командира, но порою необходимо встать выше правил».
Захватив Ярцево, соединения 3-й немецкой танковой группы стремились продвинуться по шоссе к Вязьме и одновременно развить наступление на юг к Ельне, в которую ворвались части 2-й танковой группы. Группа Рокоссовского получила приказ командующего фронтом на наступление. В условиях безраздельного господства вражеской авиации группа имеющимися силами сумела овладеть Ярцевом, но дальше наступать не смогла. В течение нескольких дней она отражала ожесточенные атаки танковых частей противника. 27 июля Тимошенко доносил в Ставку: «Ярцево твердо удерживается Рокоссовским».
На следующий день командующий группой сумел организовать контрудар, в отражение которого втянулись все части и соединения 3-й танковой группы Гота. 1 августа одновременным ударом группы войск Рокоссовского с востока и частей 16-й и 20-й армий с запада фронт окружения советских войск в районе Смоленска был прорван. Начались бои по обеспечению вывода этих войск из окружения.
Это был крупный успех. Гитлер — впервые во второй мировой войне (!) — был вынужден отдать группе армий «Центр» приказ о переходе к обороне. И хотя обстановка в районе Смоленска продолжала оставаться сложной, стало ясно, что, как справедливо заметил Рокоссовский в книге своих мемуаров, «гитлеровский план «молниеносной войны» затрещал».
После выхода наших войск из окружения группа Рокоссовского вошла в состав 16-й армии, а сам Константин Константинович был назначен ее командующим. Армия занимала оборону на 50-километровом фронте, перехватывая магистраль Смоленск-Вязьма. Все попытки противника прорвать оборону были пресечены, и на некоторое время он перешел к обороне.