Весной 1943 года Конев был назначен командующим Степным (Резервным) фронтом, силы которого планировалось ввести на втором этапе сражения на Курской дуге. Но уже на первом этапе по приказу Ставки ему пришлось вводить в полосу Воронежского фронта 5-ю гвардейскую танковую и 5-ю гвардейскую армии, сыгравшие решающую роль в сражении под Прохоровкой.
К 13 августа войска Конева подошли к Харькову, прорвали внешнее кольцо обороны города, а через четыре дня завязали бои на его окраине. 22 августа они осуществили ночной штурм города, и к 12 часам следующего дня Харьков был освобожден. 28 августа Коневу присвоили звание генерала армии.
23 сентября была освобождена Полтава, а на следующий день захвачен плацдарм на Днепре северо-западнее Днепродзержинска.
В конце января в результате проведенных операций на стыке 1-го и 2-го (бывшего Степного) Украинских фронтов в районе Корсуня образовался выступ, который Гитлер приказал удержать с целью восстановления обороны по Днепру. Этот выступ Ставка приказала «срезать» командующему 1-м Украинским фронтом генералу Н. Ф. Ватутину и Коневу. Операция проходила с 24 января по 17 февраля. Была уничтожена группировка генерала Штиммермана. Коневу присвоили звание Маршала Советского Союза.
В мае Конев был назначен командующим 1-м Украинским фронтом. Целью новой операции стал разгром группы «Северная Украина», освобождение Западной Украины и юго-восточной Польши. 27 июля были освобождены Львов, Перемышль, Станислав. К 1 августа в районе Сандомира была форсирована Висла и создан важный плацдарм для дальнейшего наступления. За Львовско-Сандомирскую операцию Коневу было присвоено звание Героя Советского Союза.
1 октября войска 1-го Украинского фронта перешли чехословацкую границу северо-западнее Дукельского перевала и при содействии чехословацких войск захватили перевал.
В 1945 году войны войска 1-го Украинского фронта начали наступление с Сандомирского плацдарма. В ходе наступления были разгромлены как тактические, так и оперативные резервы противника и создана угроза его окружения между Пулковским и Сандомирским плацдармами.
Уже к 20-м числам января войска Конева вышли к Одеру и форсировали его. Вместе с командующим 1-м Белорусским фронтом маршалом Г. К. Жуковым Конев настаивал на немедленном наступлении на Берлин, где не было создано прочной обороны и не имелось достаточного количества войск. Но Жуков опасался удара по своему правому флангу со стороны Восточнопомеранской группировки.
Коневу же пришлось проводить Нижнесилезскую операцию с целью разгрома группы армий «Центр». В районе Бреслау была окружена 40-тысячная группировка противника. Войска 1-го Украинского фронта овладели Нижней Силезией и окружили верхнесилезскую группировку. На правом крыле фронта войска были готовы к штурму Берлина.
Однако Жуков по-прежнему хотел захватить Берлин самостоятельно. Войска Конева должны были разгромить противника южнее Берлина и выйти к Эльбе на соединение с союзными войсками.
В первый же день наступления 16 апреля войска Конева прорвали главную полосу обороны противника и форсировали Шпрее. В это же время войска Жукова застряли на достаточно укрепленных Зееловских высотах.
Желая взять Берлин к 1 мая, Сталин приказал Коневу повернуть танковые армии на Берлин и сказал обоим командующим, что «Берлин возьмет тот, кто первым туда ворвется».
Танковые армии, дополнительно усиленные артиллерийскими и авиационными соединениями, перешли в наступление и 22 апреля вышли к южной окраине Берлина. 25 апреля войска 1-го Белорусского и 1-го Украинского фронтов соединились западнее Берлина. Вся группировка противника была окружена.
Гитлер приказал 12-й армии Венка оставить рубеж своей обороны против американцев на Эльбе и направиться к Потсдаму на соединение с окруженной 9-й армией. В штаб Венка для координации боевых действий был направлен главный советник Гитлера по оперативно-стратегическим вопросам фельдмаршал В. Кейтель. С севера действия Венка должны были поддерживаться контрударами армейской группы.
Но пробиться к окруженному Берлину Венк не смог. 2 мая 1945 года столица Германии капитулировала.
Последним актом в войне для Конева было взятие Праги 9 мая и пленение остатков группы армий «Центр».
За победы на завершающей стадии Великой Отечественной войны Конев дважды был удостоен звания Героя Советского Союза и награжден орденом «Победа».
В первый послевоенный год Конев был назначен главнокомандующим Центральной группой войск в Австрии и Верховным комиссаром Австрии.
После своего возвращения из Австрии Конев назначается главнокомандующим сухопутными войсками и заместителем министра обороны. На этом посту он пробыл до 1950 года.
С 1950 по 1955 год Конев командовал войсками Прикарпатского военного округа.