При содействии поляков особенно мощный приступ на город начали войска корпуса маршала Даву. В это время за Смоленск сражалось до 25 000 русских солдат. Военный историк генерал В. Харкевич в своих дневниках писал: «Ожесточение, с которым войска наши, в особенности пехота, сражались под Смоленском… невыразимо. Нетяжкие раны не замечались до тех пор, пока получившие их не падали от истощения сил и течения крови». К вечеру Наполеон был вынужден отозвать войска, так и не прорвавшиеся в крепость. После их отхода город стали обстреливать 150 орудий. Поздно вечером последовала еще одна неудачная атака французов.
В романе «Война и мир» Лев Толстой довольно реалистично реконструировал ситуацию внутри города в тот день (писатель был артиллеристом и принимал участие в обороне Севастополя во время Крымской войны 1853–1856 гг.): «…по улице пробежали два человека к мосту. С разных сторон слышались свисты, удары ядер и лопанье гранат, падавших в городе. Но звуки эти почти не слышны были и не обращали внимания жителей в сравнении с звуками пальбы, слышными за городом. Это было бомбардирование, которое в пятом часу приказал открыть Наполеон по городу, из ста тридцати орудий. Народ первое время не понимал значения этого бомбардирования. Звуки падавших гранат и ядер возбуждали сначала только любопытство… К воротам вышли кухарка и лавочник. Все с веселым любопытством старались увидать проносившиеся над их головами снаряды… Между тем другие снаряды, то с быстрым, мрачным свистом ядра, то с приятным посвистыванием гранаты, не переставали перелетать через головы народа; но ни один снаряд не падал близко, все переносило… Опять, но очень близко этот раз, засвистело что-то, как сверху вниз летящая птичка, блеснул огонь посередине улицы, выстрелило что-то и застлало дымом улицу… Через пять минут никого не оставалось на улице. Кухарку с бедром, разбитым гранатным осколком, снесли в кухню… Алпатыч, его кучер, Ферапонтова жена с детьми, дворник сидели в подвале, прислушиваясь. Гул орудий, свист снарядов и жалостный стон кухарки, преобладавший над всеми звуками, не умолкали ни на мгновение. Хозяйка то укачивала и уговаривала ребенка, то жалостным шепотом спрашивала у всех входивших в подвал, где был ее хозяин, оставшийся на улице. Вошедший в подвал лавочник сказал ей, что хозяин пошел с народом в собор, где поднимали смоленскую чудотворную икону. К сумеркам канонада стала стихать… После замолкшего прежнего страшного гула орудий над городом казалась тишина, прерываемая только как бы распространенным по всему городу шелестом шагов, стонов, дальних криков и треска пожаров. Стоны кухарки теперь затихли. С двух сторон поднимались и расходились черные клубы дыма от пожаров… Увидав дым и даже огни пожаров, видневшиеся теперь в начинавшихся сумерках, бабы, до тех пор молчавшие, вдруг заголосили, глядя на пожары. Как бы вторя им, послышались такие же плачи на других концах улицы».
За этот день российские потери составили 4 тысячи человек.
Ночью Барклай-де-Толли организовал военный совет. На нем традиционно рассматривались различные варианты дальнейших действий, среди которых были продолжение обороны и даже наступление на французов. В результате победила умеренная позиция главнокомандующего: «Барклай достиг своей цели, – писал Клаузевиц, – правда, чисто местного характера: он не покинул Смоленска без боя… Преимущества, которыми располагал здесь Барклай, заключались, во-первых, в том, что это был бой, который никоим образом не мог привести к общему поражению, что вообще легко может иметь место, когда целиком ввязываются в серьезный бой с противником, обладающим значительным превосходством сил… Потеряв Смоленск, Барклай мог закончить на этом операцию и продолжить свое отступление».
Таким образом, в ночь на 6 (18) августа армия отошла к северу, крепость также была оставлена российскими войсками. Чтобы дать возможность всей 1-й Западной армии спокойно выйти на Московскую дорогу, а также чтобы не отстать от нее и не быть окруженным, на следующий день Барклай-де-Толли провел оборонительное сражение у Валутиной горы. В частности, утром следующего дня Ней нанес сильный удар по российским войскам – отступавшим корпусам генерала К. Багговута и генерала А. Остермана-Толстого. Однако к ним на помощь подошел отряд принца Вюртембергского, который помог отбить атаки.