Части оперативной группы Болдина не смогли сосредоточиться для согласованного удара, а потому, выдвигаясь навстречу противнику, вступали в бой по мере соприкосновения с ним, то есть по частям, разрозненно. К тому же опергруппа не располагала достаточным количеством противотанковой и зенитной артиллерии. Действовать пришлось одновременно на двух направлениях.
Немецкая разведка быстро определила состав и положение оперативной группы генерала Болдина. 4 октября на боевые порядки контратакующих частей обрушил всю свою мощь 8‑й авиакорпус группы армий «Центр».
Тем временем генерал Лукин храбро и стойко отражал новые и новые атаки на своём фронте. Против него действовало до семи пехотных дивизий при поддержке 150 танков. Пока противнику не удалось пробить или опрокинуть порядки его дивизий. 5 октября 19‑я армия продолжала удерживать свои рубежи к северу от Минского шоссе.
В этот же день, 4 октября, с южного крыла пришло известие, смысл которого потряс всех офицеров штаба Западного фронта: противник, частично смяв и рассеяв, а частично оттеснив войска 33‑й и 43‑й армий Резервного фронта, сделал глубокий прорыв в районе Спас — Деменск — Ельня.
И. С. Конев: «Прорыв противника в этом направлении создал исключительно трудную обстановку и для 24‑й и 43‑й армий Резервного фронта, и для Западного фронта. Наши 20‑я, 16‑я, 19‑я армии оказались под угрозой охвата с обоих флангов. В такое же положение попадала 32‑я армия Резервного фронта. Обозначилась угроза выхода крупной танковой группировки противника с юга со стороны Резервного фронта в район Вязьмы в тыл войскам Западного фронта и с севера из района Холм — Жирковского».
И. С. Конев: «В связи с создавшимся положением я 4 октября доложил Сталину об обстановке на Западном фронте и о прорыве обороны на участке Резервного фронта в районе Спас — Деменска, а также об угрозе выхода крупной группировки противника в тыл войскам 19‑й, 16‑й и 20‑й армий Западного фронта со стороны Холм — Жирковского. Сталин выслушал меня, но не принял никакого решения. Связь по ВЧ оборвалась, и разговор прекратился. Я тут же связался по «Бодо» с начальником Генерального штаба маршалом Шапошниковым и более подробно доложил ему о прорыве на Западном фронте в направлении Холм — Жирковский и о том, что особо угрожающее положение создалось на участке Резервного фронта. Я просил разрешения отвести войска нашего фронта на Гжатский оборонительный рубеж. Шапошников выслушал доклад и сказал, что доложит Ставке. Однако решения Ставки в тот день не последовало. Тогда командование фронта приняло решение об отводе войск на Гжатский оборонительный рубеж, которое 5 октября было утверждено Ставкой. В соответствии с этим мы дали указание об организации отхода войскам 30‑й, 19‑й, 16‑й и 20‑й армий».
Фразу Конева по поводу того, что Сталин выслушал его тревожный доклад, «но не принял никакого решения», историки потом интерпретировали как растерянность Верховного.
Что ж, возможно, Сталин на какое–то время растерялся. Но, как теперь стало известно, Сталин тут же позвонил Жукову в Ленинград:
— У меня к Вам только один вопрос, — сказал Верховный, — не можете ли сесть на самолет и приехать в Москву. Ввиду осложнения на левом крыле Резервного фронта в районе Юхнова Ставка хотела бы с Вами посоветоваться о необходимых мерах.
Директиву на отвод войск Конев получил только в ночь с 5‑го на 6‑е октября. Почти сутки Ставка думала, что предпринимать! А время — даже часы и минуты — работало в тот период не на Красную армию. Той же директивой Западному фронту передавались 31‑я и 32‑я армии. Но теперь они были не в помощь Военному совету фронта, теперь, когда предстояло отводить, снимать с позиций из–под носа, из–под огня противника, дивизии и отводить их под непрерывным обстрелом артиллерии, они были только обузой.
И. С. Конев: «Ставка, к сожалению, с большим опозданием подчинила Западному фронту 31‑ю и 32‑ю армии Резервного фронта. Будь это сделано до начала сражения, мы могли бы их использовать в качестве второго эшелона… ”
Выполняя приказ, войска фронта, главным образом 19‑я и 20‑я армии, не имея сильного нажима наступающего противника с фронта, прикрывав свои фланги, начали последовательно отходить от рубежа к рубежу. Первый промежуточный рубеж был намечен на Днепре, где были подготовлены позиции Резервным фронтом.
«Принимая решение на отход, я хорошо представлял себе все трудности его выполнения… Отход — самый сложный вид боевых действий. Требуется большая выучка войск и крепкое управление. На опыте мы постигали это искусство. Невольно в связи с этим вспоминаются слова Льва Толстого. В своих записках о Крымской войне он писал, что «необученные войска не способны отступать, они могут только бежать». Очень метко и правильно сказано. К сожалению, надо признать, что до войны наши войска очень редко изучали этот вид действий, считая отход признаком слабости, несовместимым с нашей доктриной. Мы собирались воевать только на территории врага. И вот теперь, во время войны, за это крепко поплатились.