На командные должности Конев пришел после Гражданской войны, окончив курсы усовершенствования высшего начальствующего состава. Быстрое продвижение по службе началось с середины 30-х гг., когда он, окончив в 1934 г. академию им. Фрунзе, был назначен командиром стрелковой дивизии. Ивану Степановичу удалось уцелеть во время сталинских чисток в армии, хотя человек, которого он считал своим учителем и который сыграл большую роль в его росте – И. П. Уборевич, погиб. В период 1937–1941 гг. Конев последовательно командовал особой группой войск в Монголии, 2-й Отдельной Краснознаменной Дальневосточной армией, войсками Забайкальского военного округа. За год до войны ему было присвоено звание генерал-лейтенанта. В это же время из войск округа ему приказали сформировать 19-ю армию, которую в мае 1941 г. начали перебрасывать в западные приграничные районы, но к началу боевых действий, 22 июня, полностью сосредоточить не успели.
19-армия вступила в бой с немцами в июле в районе Витебска, сумев задержать на несколько суток продвижение противника – 3-й танковой группы. Затем, когда развернулось Смоленское сражение, армия Конева наносила контрудары под Духовщиной. В сентябре его назначили командующим Западным фронтом и присвоили звание генерал-полковника. Этот фронт, протяженностью в 340 км, прикрывал московское направление от озера Селигер до Ельни. В эти же дни, в конце сентября, немцы, приведя в действие свой план «Тайфун», начали мощное наступление на Москву, прорвав в первые же дни оборону войск Западного, а также Резервного фронтов. Все попытки восстановить положение окончились неудачей. Кроме того, Сталин, запретив Коневу отойти на новую линию обороны, поставил его в еще более трудное положение. 7 октября в районе Вязьмы немцы окружили войска 4-х армий. Конев был снят с поста командующего. Ему грозил трибунал. Для расследования случившегося на фронт прибыли члены ГКО В. М. Молотов и К. Е. Ворошилов. Положение спас новый командующий Западным фронтом Г. К. Жуков, взявший Конева своим заместителем. В середине октября Конев провел в районе Торжка контрудар, в ходе которого была разгромлена танковая группировка противника. С этого началось соперничество между ним и Жуковым, которое в дальнейшем не прекращалось.
После успеха у Торжка Сталин назначил Ивана Степановича командующим Калининским фронтом. Войска этого фронта 5 декабря первыми начали контрнаступление под Москвой и, прорвав оборону противника, через 10 дней заняли г. Калинин.
После разгрома немцев под Москвой в районе Ржева образовался выступ, с которого они могли предпринять новое наступление на столицу. Именно против этого выступа большую часть 1942 г. действовал Калининский фронт, стремясь окружить противника, и хотя это сделать не удалось, немецкое командование вынуждено было перебрасывать туда войска с других направлений, что облегчало положение действующих там советских войск.
1943 г. начался с поражения немцев под Сталинградом. Они откатывались с Волги и Кавказа, в результате чего образовался выступ, получивший название Курская дуга. Здесь летом развернулось грандиозное сражение, в котором с обеих сторон участвовало свыше 4 млн человек, 12 тыс. самолетов, 13,2 тыс. танков, 69 тыс. орудий. Здесь немцы предприняли свое последнее крупное наступление, получившее название план «Цитадель». Сюда Гитлер направил новейшие танки «Тигр» и «Пантера». Немцы хотели срезать дугу, ударив под основания выступа. Но этот план стал известен советской разведке, и Жуков как заместитель Сталина руководящий боевыми действиями на этом участке фронта, приказал перейти к преднамеренной обороне. Конев на Курской дуге командовал Степным фронтом. Его войска должны были быть введены в действие на втором этапе сражения, во время контрнаступления. Но ему, по приказу Ставки, пришлось уже на первом этапе вводить в полосу Воронежского фронта 5-ю танковую армию, что и сыграло решающую роль в грандиозном танковом сражении под Прохоровкой. 13 августа войска Конева подошли к Харькову и охватили его почти со всех сторон, оставив немцам только один путь для отхода. 22 августа последовал штурм города, и на следующий день Харьков был освобожден.
В сентябре войска Конева освободили Полтаву и захватили плацдарм на Днепре в районе Днепродзержинска.
1944 г. начался с ряда операций войск 2-го Украинского фронта (так теперь именовался бывший Степной). 5–8 января в районе Кировограда окружили и разгромили противника, а затем взяли город. В конце января силами 1-го и 2-го Украинских фронтов Ватутина и Конева была проведена грандиозная Корсунь-Шевченковская операция, «второй Сталинград». В окружении очутилась 80-тысячная группировка немецкого генерала Штиммермана. Все попытки противника извне прийти на помощь окруженным пресекались войсками Конева. Также пресекались попытки прорваться изнутри. К 17 февраля группировка Штиммермана перестала существовать. Коневу же было присвоено звание Маршала Советского Союза. К концу марта его войска вышли на государственную границу с Румынией.