Бои становились все более ожесточенными. Фашисты бешено рвались к Ленинграду. Бомбардировщики шли волна за волной днем и ночью. Советские летчики-истребители во взаимодействии с зенитчиками самоотверженно отражали натиск врага. Не было дня, чтобы Грачев не вылетал на боевое задание.
Шестерка истребителей под командованием Грачева 23 сентября прикрывала наземные войска. На высоте трех тысяч метров появились двенадцать «мессершмиттов». Грачев вывел группу на выгодную позицию для атаки — сверху, сзади, со стороны солнца. Атаковали противника с двух сторон. Грачев подошел к «мессеру» на 50 метров и первой же очередью поджег его. Два самолета сбили его ведомые. Фашисты не выдержали боя и повернули назад, нанести удар по нашим войскам они не смогли.
Боевой счет Ивана Грачева увеличивался быстро. С 27 августа по 23 сентября 1941 года, по существу за месяц, он сбил девять фашистских самолетов лично и еще четыре — в групповых боях. И это при условии постоянного подавляющего численного превосходства противника. На его груди засверкала первая награда — орден Красной Звезды.
О боевом мастерстве Грачева стали говорить не только в полку, о нем писали в газетах. Поэт Виссарион Саянов посвятил ему стихотворение. В нем были такие строки:
Вскоре доблесть отважного воздушного бойца была отмечена высшей наградой Родины: Указом Президиума Верховного Совета СССР в январе 1942 года Ивану Петровичу Грачеву присвоено звание Героя Советского Союза. Тем же Указом присвоено звание Героя и его товарищу — Егору Павловичу Новикову.
Вся первая военная зима для Грачева, как и для его товарищей, прошла в боях. Невероятные трудности блокады, тяжелые бои над Дорогой жизни, на подступах к городу. И еще — тревога за близких. Старшие братья Михаил и Александр на фронте. Жена Анна Васильевна с сынишкой Сашей, которому и двух лет не исполнилось, эвакуировалась из Ленинграда в Рязанскую область. Где они, как они? Тревога и за семью и за всю страну, над которой нависла смертельная опасность. И коммунист Грачев всю свою волю, все силы направлял на то, чтобы бить врага каждый день.
В апреле 1942 года Иван Грачев оказался в госпитале. Потом снова бои, только уже на Северо-Западной фронте в составе 28-го гвардейского истребительного авиационного полка. Здесь его назначили командире» эскадрильи. Он горячо включился в работу. Командир полка гвардии подполковник О. Родионов отмечал в характеристике его высокую боевую подготовку, большие организаторские способности, умение воспитывать молодых летчиков. Многие из них повторяли, может быть в несколько иной форме, те слова, которые сказал после первых боев младший лейтенант Владишр Ллавский: «Спасибо, командир, я повзрослел».
В начале 1943 года на фронте появились новейшие фашистские самолеты-истребители «Фокке-Вульф-190», Они имели большую скорость, чем другие, и более мощное вооружение, поэтому сражаться с ними было нелегко. Грачев быстро нашел у них уязвимые места и начал их сбивать. 5 марта 1943 года он возглавил» группу: пять истребителей прикрывали бомбардировщики Пе-2. Появились шесть «фокке-вульфов» и попытались атаковать бомбардировщики. Грачев разгадал их замысел и тактику. С двумя товарищами он пошел навстречу им, два самолета оставив для непосредственного прикрытия бомбардировщиков. Бой завязался горячий. Грачев один за другим сбил два «фокке-вульфа». Его группа разогнала фашистские истребители и не допустила их к бомбардировщикам.
На счету Ивана Грачева стало 13 лично сбитых самолетов и 8 — в групповом бою.
Увеличивался боевой счет и у его подчиненных. Грачев с восхищением говорил об их боевых делах. В воздухе они понимали друг друга без слов, приходил» на выручку в минуты опасности.
— В том бою, как почти и всегда, силы были неравными: нас четверо, фашистских истребителей восемь,— рассказывал Грачев об одном из боев — Я атаковал «мессера», а в этот момент на меня набросились сразу четыре фашиста. Я же увлекся атакой и не заметил опасности. Но мой ведомый Михаил Родин, как всегда, был начеку. Он сделал боевой разворот вправо и заградительным огнем отсек «мессершмитты». Один фашистский самолет он подбил, а остальные отвернули. Тем временем я завершил атаку и «свалил» фашиста. В паре с Михаилом Родиным мы провели пятнадцать воздушных боев. Обеспечив мне победу над четырьмя вражескими самолетами, он сам уничтожил три. Он всегда был верен девизу: «Атакуй, ведущий! Я охраняю тебя надежно!»
Весной следующего, 1944 года Грачев распрощался с товарищами по эскадрилье. Его перевели в 68-й гвардейский истребительный авиационный полк, сражавшийся на 1-м Прибалтийском фронте. Он принял эскадрилью и быстро вошел в полковой коллектив.