Параллельно с арьергардом генерал-лейтенанта Коновницына отступал и отряд графа Сиверса, который, руководствуясь приказанием князя Багратиона, «предпринял марш с вверенным ему арьергардом разными колоннами, которые одна за другою выступали». Это осторожное движение отряда графа Сиверса имело целью не оставлять неприкрытым левый фланг арьергарда генерал-лейтенанта Коновницына. Отряд беспрепятственно достиг до назначенного ему места, с. Рожества, откуда граф Сиверс донес князю Багратиону: «По окончании наступательного неприятельского движения на арьергард 1 армии, замечено, что неприятель, довольно сильный, также принял вправо и остановился против моего поста. Полагаю, что завтрашний день буду атакован, сделаю неприятелю отпор, но ежели оный будет в превосходных силах и ежели удержать будет невозможно, то испрашиваю, куда мне в таком случае отступать».
Главные силы армии отошли за день до дер. Дурыкина.
Кутузов под Можайском (М. Орлов)
Об арьергардных боях генерал-лейтенанта Коновницына за 20 августа лучше всего свидетельствует его донесение. «Сего числа в продолжение целого дня с семи часов утра неприятель с большим числом кавалерии и пехоты и с орудиями самого большого калибра преследовали арьергард. Несколько раз удерживали мы место и всегда принуждены были уступать оное. Следуя шаг за шагом, к вечеру он с 40 эскадронами атаковал мой правый фланг под протекцией двух батарей. В девятом часу дело прекратилось, неприятель остановился у деревни Старой в десяти верстах от Дурыкина, имея свои ведеты впереди. Арьергард весь расположился при деревне Поляникове за семь верст от Дурыкина».
Тяжелый это был день для арьергарда генерал-лейтенанта Коновницына. Он выдержал тринадцатичасовой бой под натиском сильнейшего французского авангарда; на протяжении 16 верст останавливался на восьми позициях, и все это делалось без отдыха и даже без пищи.
В особенности тяжело пришлось арьергарду под Гжатском, где ему надлежало пройти через лес, затем через город и, наконец, через мост на реке Гжати. Поневоле пришлось вытянуться в длинную, узкую колонну для прохождения моста и тем замедлить движение и отстать от главных сил. Французский авангард, воспользовавшись случаем, стремительно и настойчиво атаковал арьергард генерал-лейтенанта Коновницына, но он с честью вышел из этого весьма опасного положения и успел своевременно преодолеть все препятствия. Нелишне будет заметить, что и здесь пионеры того же 1 полка и той же роты (подполковника Афанасьева, вр. команд. штабс-капитан Шевич): унтер-офицер Гавриил Иванов и пионеры Наум Мартынов, Гавриил Кондратьев и Юган Виллем «с отменною быстротою, неустрашимостью и мужеством, подавая собою пример и уговорив товарищей, зажгли мост, через что и остановили неприятеля, а ретирующиеся наши войска довольно имели времени к выстраиванию».
Отряду генерал-майора барона Крейца в этот день была задача: защищать дорогу из города Белого, по которой двигалась неприятельская колонна в обход нашего правого фланга, и «держаться, покуда все прочие войска перейдут через мост, а, может быть, и умереть». Отряд генерал-майора барона Крейца расположился поперек Бельской дороги правым флангом к р. Гжати, а левым — к лесу, занятому егерями. Хотя отряд отбивался настолько упорно, что дал время кавалерии и артиллерии переправиться через мост, но, в конце концов, сам был опрокинуть к г. Гжатску и прижат к р. Гжати. Положение отряда было безвыходное, но генерал-майор барон Крейц, не раздумывая долго, бросился с драгунами и казаками в р. Гжать и перешел через нее частью вплавь, частью в брод да еще перетащил на лямках по дну реки два бывших при отряде конных орудия.
По не совсем успевшему сгореть мосту неприятель перебрался через реку и вновь отрезал отряд барона Крейца, который бросился прямо полями, ломая по пути плетни и изгороди и ускользнул таким образом от неприятеля в дер. Лескино. В деревне остановились драгуны, а казачий полк Андриянова 2 скрылся в лощине так быстро, что неприятель не успел заметить. 13 эскадронов баварской кавалерии, ничего не подозревая, приблизились к деревне Лескино и тут были внезапно атакованы с фронта драгунами и с флангов казаками. Баварцы были обращены в бегство и потеряли много убитыми и пленными.
Сведения о действии отряда генерал-майора графа Сиверса за 20 августа ограничиваются лишь известиями, что отряд в этот день имел два дела: «при отступлении и отражении неприятеля по сильном его нападении при дер. Бражиной» и «к вечеру при содействии казаков под сел. Колесниками».