21 и 22 октября (2 и 3 ноября) «неприятель сидел смирно». Шепелев путём частичной блокады предполагал вынудить неприятеля оставить Ельню, он сообщал: «21-го числа с. м. предписал я генерал-майору кн. Яшвилю, дабы попытал сильнее наступить на утесненного с трех сторон в г. Ельне неприятеля». Для усиления своего отряда Яшвиль призвал к себе 4-й полк Калужского ополчения полковника П. П. Яковлева, который прибыл к вечеру 23 октября (4 ноября). В тот день Барагэ д’Илльер писал супруге: «Мне пришлось сражаться ежедневно; по счастью, я не потерпел урона…, но я не стану ждать подхода русской армии, которая, несомненно, будет здесь через несколько дней. Не с моими же новобранцами мне отличиться!… Испытанному в боях ветерану нужны и солдаты соответствующие ему… Жизнь наша, как передового войска: спим на соломе, за два часа до рассвета уже на ногах, частенько не слезаем с лошади по 16 часов кряду, сапог никогда не снимаем, по ночам нас то и дело будят; питаемся скверно: без вина, все на черном ржаном хлебе, и пьем отвратительную воду… Наш образ жизни и здешний климат враги посильнее русских… Но всему бывает конец, и я думаю достигнуть его после настоящей кампании».{20} Последние слова генерала оказались пророческими, но в своём роде…
Тем временем «Яшвиль, устроя себя, предназначил на рассвете штурмовать город, как вслед того пополуночи в 3 ч. 24-го числа из аванпостов дали знать, что неприятель, оставив г. Ельню, ретируется поспешно по Смоленской дороге, которого приказал уже он преследовать, что и исполнено в лучшем порядке», и, как написано в рапорте, «за 20 верст гнала и била наша конница». Противник, «оставя Ельню в пламени огня», ретировался к Смоленску, и Андрианов 1-й «занял Ельню и затушил пожар, а между тем, отправя по смоленской дороге и в другия места казачьи команды преследовал неприятеля, успел истребить онаго до 250 чел. и взял в плен 30 чел.». 25 октября (6 ноября) Шепелев доносил Кутузову о преследовании врага: «… часть донских казаков преследует его по Смоленской дороге, бьет и в плен берет в беспорядке бегущих злодеев наших». По свидетельству ельнинских жителей, французы, оставляя город, сожгли до 40 домов. Русские потери за время упомянутых боёв составили ранеными 2 офицера и 128 нижних чинов, убитыми — 24 солдата. «С неприятельской стороны убито обер-офицеров 7, нижних чинов до 800 чел., в плен взято 13 чел. В добычу победителям досталось много ружей, пистолетов, лат, сабель, лошадей».{21} Как заметил Б. Ф. Ливчак, противоборство под Ельней «было наиболее крупным сражением, самостоятельно данным ополчением в 1812 г.».