В апреле 1941 года Грачева назначили командир» звена в 191-й истребительный авиационный полк, тоже базировавшийся недалеко от Ленинграда. Там его и застало нападение фашистской Германии на нашу страну.
Защитникам ленинградского неба сразу же пришлось столкнуться с врагом. Фронт от Ленинград» проходил еще далеко, а воздушные бои закипали ожесточенные — фашисты стремились «прощупать» противовоздушную оборону, нанести удары по городу. Однако ни в первые дни, ни даже в первые недели вражеские самолеты не смогли прорваться к городу на Неве.
В августе фашисты усилили натиск: 22-го они захватили Лугу, 25-го — Любань, через два дня — Тосно. Враг вышел на ближние подступы к Ленинграду и стремился захватить его с ходу. В один из августовских дней на Ленинград шло одновременно, волна за волной, более трехсот самолетов. Наши летчики-истребители вели очень трудные бои. Один против десяти, пятнадцати шли они навстречу врагу, атаковали, отгоняли.
Как тут пригодился Ивану Грачеву его опыт! Молодые летчики учились у него, взрослели рядом с ним.
Свой боевой счет Иван Грачев открыл 27 августа 1941 года. Группа в составе семи самолетов под командованием младшего лейтенанта Егора Новикова вылетела на прикрытие станции Мга. На высоте две тысячи метров шли двадцать пять бомбардировщиков Ю-87 под прикрытием двенадцати «мессершмиттов». Грачев повел свое звено навстречу истребителям, чтобы сковать их боем, а Новиков с остальными атаковал «юнкерсы». Семь против тридцати семи! Особенно трудно пришлось звену Грачева, ведь на каждый И-16 — по четыре «мессершмитта». Грачев атаковал, атаковал, навязывал противнику свою волю, не давая ему возможности применить маневр. Зайдя одному «мессеру» в хвост, он дал длинную очередь и поджег его.
Звено сумело боем сковать вражеские истребители. «Юнкерсы» остались без прикрытия, и с ними расправлялась группа Егора Новикова. Фашистам стало не до бомбежки станции.
Эскадрилья капитана Георгия Жуйкова каждый день находилась в боях. Летчики еще больше сблизились, сдружились. «Неразлучными» называли Егора Новикова, Ивана Грачева, Николая Кузнецова, Владимира Плавского, Василия Добровольского. Именно дружба, взаимовыручка помогали бить численно превосходящего противника. Звенья Егора Новикова (товарищи звали его Георгием, Жорой) и Ивана Грачева часто приходили на помощь друг другу.
Налеты авиации противника были так часты, что летчикам-истребителям приходилось вылетать по семь-восемь раз в день. Нагрузка чрезвычайно большая, а Грачев все рвался в воздух. Иногда летчики так выматывались, что без помощи техников не могли выбраться из кабины.
Бой, проведенный 29 августа 1941 года группой, которую возглавлял младший лейтенант Иван Грачев, вызвал восхищение у всех летчиков полка. Бой проходил в том же районе — над станцией Мга. Пятерка Грачева прикрывала наши войска и станцию. Появились двадцать пять «юнкерсов». Соотношение — один к пяти, но все же надо было отогнать фашистов. Грачевская группа ринулась в атаку. Фашисты встретили ее плотным огнем, но Грачев прорвался к бомбардировщикам и одного из них сбил.
Атака за атакой, и фашистские летчики не выдержали, их боевой строй нарушился. Они куда попало сбрасывали бомбы и поворачивали обратно.
Не успел Грачев собрать свою группу, как увидел, что с юга снова идут бомбардировщики противника. Решение последовало мгновенно — побыстрее набрать высоту и обрушиться на фашистские самолеты. Наши истребители зашли со стороны солнца и сверху пошли в атаку. Маневр оказался удачным: фашисты их не видели, и удар для них оказался ошеломляющих. Все эти «юнкерсы» были разогнаны.
Уже на исходе было горючее, когда показала третья фашистская группа. И снова нашим истребителям пришлось принимать бой с превосходящим по численности врагом. Когда на аэродроме товарищи начали расспрашивать их о подробностях боя, никто не мог их припомнить: таким он был напряженным и сложным. Летчики буквально валились с ног от перенапряжения и усталости. В тот день Грачев сбил два бомбардировщика, а всего его группа сожгла семь вражеских самолетов.
У Грачева стало правилом: бить врага в упор, открывать огонь не с дальних дистанций, а с 70—50 метров. Причем атаковал он в первую очередь ведущего, чтобы вызвать растерянность у противника.
Бои на перехват самолетов сменялись вылетами на штурмовку наземных войск гитлеровцев. За август и сентябрь 1941 года он совершил 24 таких вылета. Десятки сожженных автомашин, танков, сотни уничтоженных фашистов. И переполнялось гордостью сердце комсомольца Ивана Грачева: значит, можно заставить фашистов ползать по земле, дрожать от страха.
В сентябре 1941 года бои под Ленинградом достигли высшего напряжения. Фашисты прилагали все силы чтобы захватить город. За месяц они совершили на Ленинград 23 массированных налета, в которых участвовало в общей сложности 2717 самолетов. На ближние подступы к городу выходили колонны танков.