Витебск был уже недалеко, Но обстановка в городе оставалась неясной. Встречные давали самые противоречивые свидетельства. Одни говорили, что в городе немцы, другие — что бои идут на окраинах, третьи утверждали, что немецкие танки уже за рекой и вот-вот здесь появятся.
Нужно было действовать. И Конев принял решение. Он вышел из машины, снял плащ, чтобы видны были знаки различия на петлицах, начал останавливать отступавших. Говорил спокойно, приказы отдавал вполголоса, но уверенно и властно. И это помогло. Его целеустремленная воля подчиняла растерявшихся людей. Его приказания выполнялись охотно, даже с какой-то радостью. Это и понятно. Отступавшие почувствовали, что этот генерал сможет превратить беспорядочно отступающую толпу в организованную силу, способную противостоять врагу. К Витебску Конев прибыл не один. За его вездеходом двигалось подразделение пехотинцев, артиллерийская батарея, три тяжелых танка КВ.
С этими силами он и вступил в город, оказавшийся пустым. Не было ни наших, ни немцев. Город уже эвакуировался. В разных местах полыхали пожары — последствия бомбежек.
На центральной площади у здания обкома партии Конев увидел майора и нескольких бойцов. Они оказались из 37-й стрелковой дивизии, которой когда-то командовал именно он, Конев. Назвав себя, он узнал, что бойцы дивизии оказались тут, отступая с боем от границы. Здесь, в Витебске, майор принял под командование роту Осоавиахима и рабочее ополчение.
— Оружие старое, учебное. И патронов мало, — доложил майор.
— Ваши действия одобряю, — ответил Конев. — Держитесь до утра. Придут подкрепления.
Он оставил в распоряжение майора приведенных с собой пехотинцев и танки, а сам пошел на батарею, которая уже обосновалась у реки на высотке, что господствовала над городом.
Как он и ожидал, немецкая авиация с рассвета возобновила атаки на Витебск. Возникли новые пожары. А потом крупная вражеская часть на мотоциклах, в сопровождении танков внезапно вырвалась с запада и направилась прямо к мосту, возле которого окопались майор и его бойцы. Тут неприятелю был нанесен удар. Забрасывали вражеские танки бутылками с горючей смесью. Сам же командарм, обосновавшись на артиллерийской батарее, руководил ее огнем по противнику до тех пор, пока одна из дивизий 19-й армии не подошла к городу. К этому времени ему уже было ясно, как строить оборону Витебска.
В те дни здесь, под Витебском, начинало развертываться историческое Смоленское сражение, в котором впервые с начала второй мировой войны отборные войска вермахта, наступавшие на Москву, были ослаблены, остановлены и вынуждены перейти к обороне. Но это было позднее, а тогда, 10 июля, подходившие к фронту дивизии 19-й и 20-й армий грудью встретили наступавшие танковые армады фашистов, имевшие задачу овладеть районом Орша — Смоленск — Витебск и открыть себе кратчайший путь на Москву. Силы были неравны. 11 июля фашисты захватили Витебск. Используя превосходство в силах, немецкие 2-я и 3-я танковые группы и передовые дивизии 9-й и 2-й армий врага прорвали оборону Западного фронта. 19-я армия и соседние 16-я и 20-я армии оказались в окружении. Но и в этой тяжелейшей обстановке советские войска продолжали сражаться.
Конев не знал нормального сна, забыл об отдыхе. Он почти все время находился в войсках, его волей дивизии продолжали биться с врагом, остановили его продвижение на Рудню и Сураж. 30 июля противник на западном направлении перешел к обороне. Вражеское командование, пораженное огромными потерями войск и боясь отрыва танковых армий от пехоты, приняло решение отложить наступление на Москву. Весь август продолжались ожесточенные бои под Смоленском. Армия Конева героически дралась под Ярцевом и Духовщиной. В начале сентября она вместе с 30, 16, 20-й армиями перешла в наступление. И хотя в полосе армии наступление не получило большого развития, но, сковав противостоявшие войска противника, она способствовала успеху соседей. Смоленское сражение, развернувшееся на фронте в 650 километров, сорвало расчеты гитлеровских стратегов на безостановочное движение к Москве, заставило немецкие войска на главном направлении перейти к обороне. Советское командование выиграло время для подготовки обороны столицы и последующего разгрома врага в битве под Москвой.
В Смоленском сражении Конев проявил себя как талантливый военачальник. 11 сентября Ивану Степановичу было присвоено звание генерал-полковника, а на следующий день решением Ставки он был назначен командующим Западным фронтом. «Я принял это назначение с благодарностью, но и с ощущением огромной ответственности, — вспоминал маршал. — Ведь тогда как раз гитлеровская ставка разработала операцию «Тайфун». Так Гитлер именовал замысленное им грандиозное наступление на Москву. Операцию, которую он намеревался завершить к зиме 1941 года. Для этого гитлеровское командование стянуло в район Смоленска большую и самую лучшую часть своих дивизий. Создало небывалый по мощи кулак, сосредоточило все отборное, самое боеспособное, что было в гитлеровской армии».