Наполеон покинул Дорогобуж 6 ноября. Вся армия последовала за ним 7 и 8 ноября. Ставший более ощутимым холод снова заставил вспомнить о непростительном забвении зимней одежды и еще более досадном забвении подковных шипов для лошадей. Этот двойной просчет объяснялся тем, что кампанию начинали летом и надеялись завершить ее до наступления зимы. Несчастным солдатам, вырядившимся в самые разнообразные одежды, захваченные на московском пожарище, не удавалось защититься от 10-градусного мороза, а артиллерийским лошадям не удавалось на обледеневших подъемах тащить наверх и самые маленькие пушки. Приходилось бросать фургоны, и вскоре почти не осталось боеприпасов; затем пришлось бросить и пушки. Обозов в результате становилось всё меньше, и каждый день приходилось бросать новые, поскольку лошади издыхали на дорогах. Впрочем, эти лошади служили армии пищей. С наступлением ночи набрасывались на павших лошадей, разрубали их саблями и жарили на огромных кострах, которые разжигали из срубленных деревьев, пожирали мясо и засыпали вокруг костров. Если столь дорого давшийся сон не нарушали казаки, могли проснуться наутро и обожженными, либо погрузившимися в грязь, ибо от жара костров таяли снег и лед. Но поднимались не все, ибо, после того как температура стала опускаться ниже 10 градусов, некоторые уже не выдерживали ночного холода. Однако армия шла дальше, не оглядываясь на несчастных, оставленных на биваке, для которых уже ничего не могла сделать. Вскоре их заметало снегом, и только белые холмики указывали места, где эти доблестные солдаты пали жертвами безрассудного предприятия.
В то время как Наполеон с Императорской гвардией, корпусом Даву, спешенной кавалерией и массой отставших двигался на Смоленск в сопровождении Нея, принц Евгений двигался на Духовщину. Его сопровождали 6-7 тысяч человек, включая итальянскую королевскую гвардию, некоторое количество конной артиллерии и баварских всадников, сохранивших лошадей, множество отставших и несколько семей беженцев, прибившихся к Итальянской армии. Прибыв к концу первого дня пути, 8 ноября, в усадьбу Заселье, где предполагалось найти какое-нибудь продовольствие и пристанище на ночь, корпус был настигнут сильным морозом. Артиллерия и обозы встали у подножия холма, не имея возможности на него взойти. Гололедица не позволяла втащить на него и самые малые тяжести. Удваивая и утраивая упряжки, удалось затащить на гору орудия малого калибра, но пришлось полностью отказаться от орудий 12-го калибра, составлявших резерв.
В усадьбе Заселье провели печальную ночь. Наутро отбыли в ранний час, чтобы перейти через Вопь, речку, которая в августе представляла собой лишь жалкий, почти пересохший ручеек. Теперь она катила свои воды в широком и глубоком, не менее четырех футов, русле, переполненном обломками льда и грязью. Понтонеры Евгения, высланные вперед, всю ночь трудились над сооружением моста и, обмороженные, умирающие от голода, приостановили работу на несколько часов, намереваясь возобновить и завершить ее после недолго отдыха. Но на рассвете самые торопливые из безоружной толпы вошли на недоделанный мост. Из-за густого тумана, не позволявшего отчетливо видеть предметы, толпа решила, что мост готов, и последовала за теми, кто ступил на него первым, скопилась за их спинами, в нетерпении начала напирать и сбрасывать в грязную ледяную воду тех, кто стоял впереди. Крики несчастных, падавших в воду, наконец остановили хвост колонны, которая вернулась на берег и с отчаянием взирала на недоступную реку. Несколько кавалеристов, сохранивших лошадей, попытались перейти реку вброд и действительно отыскали место, где смогли переправиться на другой берег. Пехота последовала их примеру и вступила в быстрый поток, несущий огромные льдины. Переправившись почти целиком на другой берег, пехота спешно разожгла костры, чтобы согреться и обсушиться. Безоружная толпа, в свою очередь, попыталась перейти вброд: одним это удалось, другие падали, чтобы уже не подняться.