Наполеон приказал отступать к Смоленску, и 27 октября началось отступление из Боровска на Верею, Можайск, Дорогобуж, Смоленск. Армия шла длиннейшей, растянутой линией, и на этот раз, по приказу Наполеона, сжигались все деревни, сёла, усадьбы, через которые проходили войска. Но, начиная от Можайска, и сжигать было почти нечего: так страшно были разорены эти места ещё в добородинский период войны. Город Можайск был выжженной пустыней. Когда проходили мимо Бородинского поля, где по-прежнему, никем не тронутые и неубранные, гнили тысячи русских и французских трупов, Наполеон велел как можно скорее оставить это место: страшное зрелище подавляюще действовало на солдат, особенно теперь, когда они чувствовали, что война проиграна.
Когда подходили к Гжатску (дело было 30 октября), начались первые морозы. Это было некоторой неожиданностью: по справкам, которые ещё до вторжения были даны Наполеону, морозы в этой полосе России в 1811 г. начались лишь в конце декабря. Зима в 1812 г. наступила необычайно рано и оказалась исключительно холодной. Кутузов шёл следом за отступающим неприятелем. Казаки сильно тревожили французов нападениями: перед Вязьмой русская регулярная кавалерия напала на французскую армию, но Кутузов явственно избегал большого сражения, хотя его со всех сторон толкали на это. Для Кутузова всё дело было в уходе Наполеона из России, а для английского агента Вильсона и для целой массы немцев и французов-эмигрантов уход Наполеона из России был не концом, но только началом дела: им важно было избавиться от Наполеона, а это было возможно лишь при его полном поражении, плене или смерти. Иначе — так им казалось — в Европе всё останется по-прежнему, и Наполеон будет всё так же владычествовать до Немана. Но Кутузов не уступал на этот раз. По мере усиления морозов, потери обозов, там и сям отбиваемых казаками и русскими партизанами Фигнером, Сеславиным, Давыдовым, — французская армия катастрофически быстро таяла.
Когда 16 ноября армия прибыла в Дорогобуж, то под ружьём годных к бою в ней насчитывалось только около 50 тысяч человек.
Наполеон переносил все трудности похода, как всегда, стараясь своим примером подбодрить солдат. Он часами шёл по сугробам и под падающим снегом, опираясь на палку, разговаривая с шедшими рядом солдатами. Он ещё не знал тогда, будет ли зимовать и вообще надолго ли останется в Смоленске. Но, придя в Дорогобуж, Наполеон получил из Франции сведения, ускорившие его решение покинуть Смоленск.
Диковинные сообщения привёз ему в Дорогобуж курьер из Парижа. Некий генерал Малэ, старый республиканец, давно сидевший в парижской тюрьме, умудрился оттуда бежать, подделал указ сената, явился к одной роте, объявил о будто бы последовавшей в России смерти Наполеона, прочёл подложный указ сената о провозглашении республики и арестовал министра полиции Савари, а военного министра ранил. Переполох длился два часа. Малэ был узнан, схвачен, предан военному суду и расстрелян вместе с 11 людьми, которые ни в чём не были повинны, кроме того, что поверили подлинности указа: Малэ всё это затеял один, сидя в тюрьме.
На Наполеона этот эпизод (при всей несуразности) произвёл сильное впечатление. Чуялось, что его присутствие в Париже необходимо. Там же, в Дорогобуже, а затем в Смоленске, куда он прибыл 9 ноября, Наполеон узнал, что Чичагов с южной русской армией, пришедшей из Турции, устремляется к Березине, чтобы отрезать ему отступление. Он узнал также о тяжких потерях корпуса вице-короля Евгения при столкновении с казаками. Наконец, узнал он и о том, что Витебск занят частями армии Витгенштейна. Оставаться в Смоленске было немыслимо: нужно было перейти Березину раньше, чем русские отрежут переправу, иначе Наполеону и остатку его армии грозил плен.
Морозы усиливались. Уже при выходе из Смоленска люди так ослабели, что, свалившись, не могли подняться и замерзали. Вся дорога была устлана трупами. Из Москвы не взяли с собой тёплых зимних вещей: это было роковым упущением ещё в начале похода. Пришлось бросить большую часть обоза, часть артиллерии, целые эскадроны должны были спешиться, так как конский падёж всё усиливался.