В июле 1940 г. подполковника Черняховского назначили командиром 28-й танковой дивизии. В дивизию входило более двухсот танков и ста бронемашин, около десяти тысяч бойцов и командиров.
В этой должности Черняховский и встретил войну. Сражался в боях юго-западнее Шяуляя, на Западной Двине, под Сольцами, защищал Новгород. По воспоминаниям, комдив сам ходил в атаку, подбил немецкий Т-IV. 16 января 1942 г. Указом Президиума Верховного Совета СССР «за четкую организацию обороны Новгорода, личное участие в организации и ведении боев, воспитание десятков молодых бесстрашных командиров, отвагу и мужество» И. Д. Черняховский награжден орденом Красного Знамени.
До июня 1942 г. командовал 241-й стрелковой дивизией, хорошо проявившей себя зимой 1942 г. при окружении частей 16-й немецкой армии в районе Демянска. Указом Президиума Верховного Совета СССР от 3 мая 1942 года «за наступательные бои по окружению демянской группировки 16-й немецкой армии» И. Д. Черняховский был награжден вторым орденом Красного Знамени. 5 мая 1942 года полковнику Черняховскому было присвоено звание генерал-майора.
В июне – июле 1942 г. руководил вновь сформированным 18-м танковым корпусом на Воронежском фронте. В ходе ожесточенных боев получил контузию. Несмотря на огромные трудности, 18-й танковый корпус совместно с соединениями 40-й и 60-й армий остановили дальнейшее продвижение врага под Воронежем. По настоятельной просьбе возглавившего 14 июля Воронежский фронт генерала Н. Ф. Ватутина, высоко оценивавшего действия этого молодого, волевого и образованного командира, Черняховский был назначен командующим 60-й армии (до апреля 1944 г.). Трое суток И. Д. Черняховский занимался проверкой состояния частей и был крайне не удовлетворен ситуацией. Командарм провел ряд мероприятий по усилению обороны.
Войска армии успешно действовали в Воронежско-Касторненской операции, в ходе которой сдавили с юга и востока кольцо вокруг противника и захватили в плен свыше 5000 солдат и офицеров противника. Указом Президиума Верховного Совета СССР от 4 февраля 1943 года И. Д. Черняховский за освобождение Воронежа был в третий раз награжден орденом Красного Знамени.