На следующий день, 4 (16) ноября, после обеда, к Красному приблизился корпус Евгения Богарне. Милорадович, который по-прежнему находился на Смоленской дороге, нанес удар по этой колонне французов. В этом столкновении корпус вице-короля потерял 2 000 только пленными от своих 6 000 (по другим сведениям – не больше 1 500), а также багаж и орудия. Потери российских войск составили до 1 000 человек. Богарне спасло лишь то, что Кутузов традиционно не желал большой битвы и приказал Милорадовичу отойти поближе к основной армии. Когда стемнело, остатки корпуса Богарне обошли расположение Милорадовича с севера и, сопровождаемые казаками, добрались до Красного.
В этот же день к Красному прибыли основные силы Кутузова, которые расположились между Новоселками и Шиловым. Накануне этого, с большими силами французов столкнулся Сеславин. Считая, что это был сам Наполеон (на самом деле – корпуса Жюно и Понятовского), он сообщил об этом Кутузову. Вечером под давлением решительно настроенных Толя и Коновницына Кутузов запланировал атаку Красного на утро следующего дня.
План будущего сражения предусматривал разделение армии на три части. Первая, под командованием Милорадовича, должна была атаковать остатки корпуса Богарне, а также приближающийся корпус Даву. Главная армия делилась на две части, одна в 15 000 под командованием Голицына должна была атаковать Красный с фронта через Уварово. Другая (20 000 солдат), под командованием Тормасова, должна была обогнуть Красный с юга и перехватить путь отступления французов. Кроме этого летучий отряд Ожаровского действовал самостоятельно на северо-западе от Красного. Но уже около часу ночи Кутузов узнал, что в Красном остался Наполеон, и отменил наступательную операцию.
Поздно ночью 5 (17) ноября 9 000 солдат корпуса Даву снялись с лагеря и начали спешный марш на Красный. Сообщение о поражении накануне корпуса Евгения Богарне настолько обескуражило Даву, что он решил отказаться от первоначального плана, согласно которому должен был ожидать корпус Нея, и только потом двигаться на соединение с Наполеоном. Около 9 часов главная колонна Даву (7 500 человек и 15 орудий) поравнялась с русским авангардом Милорадовича. Последний держал дорогу под прицелом сильной батареи. Целый корпус французов, преследуемый многочисленной кавалерией и пехотой, расстреливался из орудий чуть ли не в упор. Однако Милорадович, получивший предписание Кутузова не отрезать противнику путь к отступлению, а лишь преследовать его, когда он пройдет мимо, остановил своих солдат.
Тяжелое положение Даву побудило Наполеона к решительным действиям. Еще до восхода солнца он снова подготовил гвардию к отвлекающей атаке против Милорадовича и главной армии Кутузова. Он надеялся таким образом ослабить давление русского авангарда на Даву – оставшаяся артиллерия французской армии и гвардия были построены для атаки. Но к вечеру этого дня арьергард Даву с обозами все равно был отрезан от основных частей. По данным, которые приводит Михневич, потери французов составили 6 000 пленных, 45 орудий; российские войска потеряли не более 700 человек. В это время приказ двигаться на запад получили остатки корпуса Богарне с целью охраны путей отступления на Оршу. В планы Наполеона входило удержать российские войска, пока с ним не соединятся корпуса Даву и Нея. Только после этого он хотел продолжить отступление. Поэтому главной целью было не допустить перекрытия Кутузовым пути отступления.
Через два часа после начала марша Даву 11 000 солдат императорской гвардии выступили из Красного на юг и юго-запад. Эти войска были разделены на две колонны: 5 000 двигались по дороге на Смоленск, остальные 6 000 молодой гвардии под командой Роге направились на юг. Левый фланг молодой гвардии был прикрыт элитным батальоном гренадер старой гвардии. Справа от всего боевого порядка были расположены слабые остатки гвардейской кавалерии. Общее управление операцией осуществлял маршал Мортье.
Это выдвижение было весьма неожиданным для российских войск. Эффект от него дополнительно усиливался из-за личного присутствия Наполеона. Со своей знаменитой шляпой в руках император шел впереди старой гвардии, объявив: «Довольно уже я был императором; пора снова быть генералом».