Осенью 1941 г. Конев был назначен командующим вновь созданным Калининским фронтом. Войска этого фронта первыми начали контрнаступление под Москвой и уже 5 декабря 1941 г. прорвали оборону 9-й немецкой армии. 16 декабря был освобожден Калинин. К началу января 1942 г. войска И. С. Конева вышли к Волге северо-западнее Ржева. Большую часть 1942 г. войска Калининского фронта действовали против Ржевского выступа. Командование вермахта вынуждено было перебрасывать сюда силы, ранее предназначенные для действий на южном фланге советско-германского фронта. Это облегчало положение войск Красной Армии, сражавшихся под Сталинградом и на Кавказе.
Весной 1943 г. И. С. Конев был назначен командующим Степным фронтом. Уже на первом этапе сражения на Курской дуге Коневу пришлось вводить в полосу Воронежского фронта 5-ю гвардейскую танковую и 5-ю гвардейские армии, которые сыграли решающую роль в сражении под Прохоровкой.
С рассветом 5 августа 1943 г. войска Степного фронта пошли на штурм Белгорода и к вечеру того же дня город был полностью очищен от немцев. В ознаменование этой победы, а также освобождения Орла, 5 августа в Москве был произведен салют 15 залпами из 120 орудий – первый салют войны.
Как вспоминает дочь маршала Наталия Конева: «В архиве отца сохранилась маленькая газетная заметка Алексея Толстого под названием «Салют Победе» от 5 августа 1943 года. В ней писалось: «Орел и Белгород больше, чем Ваграм и Аустерлиц. Вот почему гремели под сводами суворовским салютом московские пушки. Орлы сталинские облетели ощипанного берлинского орла.
И Родина нарекла героев битвы бессмертными отныне именами – орловцев и белгородцев. Первыми ворвались они в исконные города наши. На своих штыках пронесли победу сквозь огонь и дым, заслужив благодарность современников и потомков».
К 13 августа войска Конева подошли к Харькову, а 22 августа последовал ночной штурм города. К 12 часам следующего дня город был освобожден. 28 августа 1943 г. И. С. Коневу было присвоено звание генерала армии и орден Суворова I степени. Как пишет в своей книге Наталия Конева: «Фельдмаршал Манштейн, чьи войска противостояли отцу под Харьковом, оставил воспоминания, где, в частности, отметил, что «командование Степного фронта противника было, вероятно, наиболее энергично».
Доведенное до совершенства полководческое искусство по окружению и ликвидации в короткие сроки вражеской группировки Конев проявил в Корсунь-Шевченковской операции, которая явилась в этом смысле почти классической. В этой операции он во многом переиграл фельдмаршала Э. Манштейна, который не ожидал, что весной 1944 г. может начаться крупное наступление. Конев нанес неожиданный мощный удар по силам противника. В результате в районе Звенигородки в окружение попало около 80 тыс. человек. Когда Манштейн предпринял попытку прорыва, Конев предотвратил ее, перебросив в угрожаемый район 5-ю гвардейскую танковую армию.
Г. К. Жуков и И. С. Конев на Курской дуге.
20 февраля 1944 г. генералу армии И. С. Коневу было присвоено звание Маршала Советского Союза. Кроме того, 23 советским частям и соединениям присвоены почетные наименования «Корсуньские», 6 соединениям – «Звенигородские». 73 военнослужащих удостоились звания Героя Советского Союза, из них 9 посмертно.
25 марта 1944 г. войска маршала Конева вышли к государственной границе СССР на реке Прут, форсировали ее с ходу и достигли Карпат.
К. В. Крайнюков, член Военного совета 1-го Украинского фронта: «И. С. Конев оказался несколько старше Ватутина. У него было открытое, простое русское лицо, дышавшее спокойствием, и лишь резкие волевые складки у рта да властные нотки в голосе свидетельствовали о твердом характере, умении повелевать. Вряд ли можно назвать другого полководца, который бы так успешно действовал как в оборонительных, так и наступательных операциях прошедшей войны. Благодаря своей широкой военной образованности, огромной личной культуре, умелому общению со своими подчиненными, к которым он всегда относился с уважением, никогда не подчеркивая своего служебного положения, волевым качествам и выдающимся организаторским способностям он снискал себе непререкаемый авторитет, уважение и любовь всех тех, с кем ему довелось воевать. Обладая даром предвидения, он почти всегда безошибочно разгадывал намерения противника, упреждал их и, как правило, выходил победителем».