Императорской гвардии противостояла русская пехота, поддержанная сильными артиллерийскими батареями. Вот как это описал Сегюр: «Русские батальоны и батареи закрывали горизонт с трех сторон – с фронта, с правого фланга и с нашего тыла». В этом случае реакция фельдмаршала Кутузова на движение французской гвардии была решительной, но в то же время неоднозначной: российские полки вместо контратаки перешли к обороне, продолжая артиллерийский обстрел французских гвардейцев, которые атаковали деревню Уварово. Они надеялись использовать ее для прикрытия отступления корпуса французского маршала Даву. Деревня удерживалась лишь двумя батальонами пехоты Голицына, которые не могли оказать серьезного сопротивления. В результате Голицын, по приказу Кутузова, был вынужден оставить Уварово и открыл по деревне ожесточенный артиллерийский огонь.
Стараясь сконцентрировать войска, Кутузов приказал авангарду Милорадовича продвинуться на запад и соединиться с войсками Голицына. Это решение Кутузова вызывает споры в связи с тем, что армии Голицына и Тормасова были уже не только соединены, но и находились в мощной оборонительной позиции. План Наполеона сработал: Милорадович лишился возможности для маневра и шанса полностью уничтожить корпус Даву.
Ближе к полудню на дороге появился Даву, который преследовали команды казаков. Также картечными выстрелами французов провожала русская артиллерия. Значительная часть обоза была потеряна, но пехота противника добралась до Красного.
В такой ситуации Беннигсен приказал Голицыну отбить Уварово. Эта атака совпала с контратакой колонны гвардейцев, которым противостояли два полка кирасир. Французы выстроились в каре и отбили две атаки, однако третья атака прорвала каре. После этого вторая линия выдвинулась для поддержки, но также была отогнана плотным артиллерийским огнем. Также в критическом положении оказалась и голландская дивизия старой гвардии. Генерал Роге попытался поддержать голландцев, атаковав русскую батарею гвардейским полком лёгкой пехоты, но атака рассыпалась под картечью и встречными атаками кавалерии. В результате голландцы потеряли 464 человека из 500.
Ближе к обеду, когда императорская гвардия с трудом удерживала позицию возле деревни Уварово, Наполеон получил донесение о готовности российских войск выдвинуться на перехват пути отступления. Также стало известно о появлении в тылу отряда Ожаровского. Это, а также сведения о потерях молодой гвардии, заставили Наполеона начать отступление, не дожидаясь подхода корпуса Нея. Соображения французского императора и его видение обстановки в тот момент генерал Коленкур описал следующим образом: «Остановиться и поджидать друг друга, когда нечего есть, это значило бы поставить все под угрозу, или, вернее, все погубить, потому что таким путем нельзя было бы добиться желательного результата. Как могли бы мы кормить корпуса, если они перестанут двигаться? Мы стоим здесь 24 часа, и уже все умирают от голода. Если я двинусь на русских, они уйдут; я потерял бы время, а они выиграли бы пространство».
В такой ситуации Наполеон приказал старой гвардии вернуться в Красный и, соединившись с корпусом Евгения Богарне, выдвинуться на запад. Молодая гвардия оставалась возле Уварова, чтобы дать время Даву привести войска в порядок.
Когда старая гвардия и корпус Богарне направились по дороге в Оршу, молодая гвардия, опасаясь окружения, тоже оставила позиции под Уваровым. Из первоначальной численности (6 000 человек) в ее рядах оставалась половина.
Опасаясь наступления Кутузова, Даву и гвардия выступили из Красного. В Красном остался лишь слабый арьергард генерала Фридриха. Корпус Нея этим утром только еще выходил из Смоленска.
Когда Кутузов узнал, что Наполеон располагается перед ним, он традиционно не позволил Голицыну и Милорадовичу преследовать французов. Тормасову также было запрещено движение. По сути, русский главнокомандующий продолжал уклоняться от значительных столкновений с французами, оберегая солдат. После того как стало ясно, что Наполеон отступает, Кутузов направил вперед Тормасова. Его марш длился около двух часов и, таким образом, возможность окружения французов снова была упущена. Тормасову удалось лишь отрезать арьергард и обозы корпуса Даву. Был захвачен личный багаж маршала, в том числе его маршальский жезл.
После обеда успешное наступление на арьергард Фридриха начал и Голицын. С наступлением ночи Кутузов разместил свои войска в Красном и его окрестностях, имея под рукой около 70 000 солдат. Об этом ничего не знал Ней, двигавшийся на деревню, то есть прямо в руки российской армии. 6 (18) ноября, в 3 часа дня, его корпус вошел в боевой контакт с войсками Милорадовича, занявшего позицию на крутом берегу реки Лосьминки. В его распоряжении находилось 12 000 солдат. Маршал Ней имел под ружьем от 7 000 до 8 000 человек, от 400 до 500 кавалеристов и 12 орудий. Вокруг его колонны шло несколько тысяч больных и раненых.