Барклай-де-Толли действительно не хотел рисковать армией и дал приказ об отступлении по Московской дороге. Из Смоленска, по его мнению, нужно было уходить, промедление грозило гибелью. Барклай-де-Толли знал, что скажут о нем, но не видел другого выхода. В первую очередь, должна была выступать 2-я армия, а за ней 1-я — через Крохоткино, Горбуново и Лубино. Получив этот приказ, Багратион сообщил Барклаю-де-Толли, что намерен завтра же вступить в Дорогобуж, где постарается занять выгодную позицию и не упустить ничего, «чтобы дать неприятелю отпор и уничтожить все его покушения на дорогу Московскую». При этом Багратион просил Барклая-де-Толли «не отступать от Смоленска и всеми силами удерживать вашу позицию».
В ночь с 16 на 17 августа корпус Раевского был сменен 6-м корпусом Дохтурова и 3-й дивизией Коновницына. Кроме того, в Смоленске осталась 27-я дивизия Неверовского, или то, что осталось от нее, и один егерский полк 12-й дивизии. На правом берегу Днепра для обстрела подступов к городу с флангов были развернуты две группы батарей под командой генерала Кутайсова. Всего в Смоленске оставалось 20 000 русских войск при 180 орудиях против всех французских сил, имевших 300 орудий. Наполеон ночью расположил свои силы для штурма: на правом фланге действовали Мюрат и Понятовский, в центре — Даву, на левом фланге — Ней. На рассвете 17 августа французы овладели окраинами предместий, но русские выбили их оттуда. До середины дня продолжались отдельные стычки и артиллерийская перестрелка. Но когда Наполеону доложили о начавшемся движении русских войск по Московской дороге, он активизировал свои действия. Сначала император поручил корпусу Жюно броситься наперерез русским войскам, но без переправочных средств это сделать не удалось. Попытка найти брод через Днепр не дала результатов. Оставалось одно — взять Смоленск штурмом и затем действовать русским во фланг.
Генеральная атака крепости началась в 15 часов. От огня французской артиллерии вспыхнули и сгорели предместья. Французы и поляки достигли крепостной стены, но здесь были отбиты с большим уроном. Нею удалось со своей стороны овладеть предместьем, но он не решился штурмовать Королевский бастион. В 17 часов Даву повел атаку Малаховских ворот и добился некоторого успеха. Но в это время в город подоспела русская дивизия Евгения Вюртембергского и отбросила французов. Повторные атаки между шестью и семью часами вечера, главным образом польскими частями, также были отбиты с тяжелыми потерями для атакующих.
Убедившись в невозможности взять город штурмом, Наполеон приказал подвергнуть его бомбардировке из всех орудий. «Злодеи, — писал Ф. Глинка, — тотчас исполнили приказ изверга. Тучи бомб, гранат и ядер полетели на дома, башни, магазины, церкви. И дома, церкви и башни обнялись пламенем — и все, что может гореть — запылало!»
Русские войска за два дня сражения потеряли около 10 000 человек, французы — 19 000. «Приступы неприятеля, — вспоминал Барклай-де-Толли, — были самые жесточайшие и отважные, но в возмездие того и потери его столь чрезвычайны, что наш урон ни мало не может войти против неприятельского... Цель наша при защите развалин смоленских стен состояла в том, чтобы, занимая тем неприятеля, приостановить исполнение намерения его достигнуть Ельни и Дорогобужа и тем предоставить князю Багратиону нужное время прибыть беспрепятственно в последний город».
Русские войска бились под Смоленском так, что даже во французских отчетах и мемуарах то и дело отмечались удивительные эпизоды. Так называемое Петербургское предместье Смоленска пылало ярким пламенем. Смоленск уже был покинут русскими, и в горевший город разом через несколько крайних улиц вступали французские войска. Русский арьергард под предводительством генерала Коновницына и полковника Толя отчаянно оборонялся, продолжая задерживать неприятеля. Русские стрелки рассыпались по садам и в одиночку били в густые французские цепи и в прислугу французской артиллерии. Русские солдаты не хотели уходить оттуда ни за что, хотя знали о неминуемой близкой смерти. «В особенности между этими стрелками выделился своей храбростью и стойкостью один русский егерь, поместившийся как раз против нас, на самом берегу, за ивами, и которого мы не могли заставить молчать ни сосредоточенным против него ружейным огнем, ни даже действием одного специально против него назначенного орудия, разбившего все деревья, из-за которых он действовал, но он все не унимался и замолчал лишь к ночи, а когда на другой день... мы заглянули из любопытства на эту достопамятную позицию русского стрелка, то в груде искалеченных и расщепленных деревьев увидели убитого ядром нашего противника, унтер-офицера егерского полка, мужественно павшего здесь на своем посту», — вспоминал французский артиллерийский полковник Фабер дю Фор.