В 17.00 авиагруппа с "Энтерпрайза" обнаружила японский авианосец "Хирю". Несколько южнее его виднелись три огромных столба дыма: это горели "Акаги", "Kara" и "Сорю". В воздухе находилось несколько японских истребителей. Они сбили три американских бомбардировщика, но остальным удалось дойти до цели и сбросить на нее четыре бомбы. Когда через полчаса сюда подоспела группа с "Хорнета", "Хирю", охваченный огнем, уже не имело смысла атаковать, поэтому американские самолеты атаковали корабли прикрытия.
Спрюэнс донес об атаке "Хирю" адмиралу Флетчеру, который тем временем с "Йорктауна" перешел на крейсер "Астория". В конце доклада Спрюэнс спросил; "Будут ли у вас какие-либо указания относительно дальнейших действий?" Флетчер ответил: "Буду наблюдать за вашими действиями". Таким образом, он фактически передал командование всеми силами Спрюэнсу. Это было очень мудрое решение. Руководить операцией с авианосца, где адмирал мог опросить вернувшихся летчиков, было гораздо легче.
Донесение о выводе из строя трех авианосцев - "Акаги", "Kaгa" и "Сорю" вызвало на мостике японского флагмана "Ямато" смятение и ужас. Однако адмирал Ямамото еще не видел достаточных оснований для прекращения операций, считая, что самолеты, которые атаковали японцев, были частично подняты с Мидуэя. Он все еще полагал, что у американцев здесь имеется только один авианосец. Поэтому он решил продолжать операцию по захвату Мидуэя, лишь несколько перегруппировав свои силы, 2-й флот адмирала Кондо, который был уже на подходе, должен был во много раз усилить оперативное соединение. Транспорты, предназначенные для высадки десанта на Мидуэй, должны были временно отойти на северо-запад, пока не прояснится обстановка. Ожидался также подход группы кораблей прикрытия от Алеутских островов.
Только в 13.00 4 мая Ямамото узнал, что американские силы состоят из трех авианосцев. Одновременно он получил донесение, что самолеты авианосца "Хирю" атаковали и подожгли один из них. Таким образом, против "Хирю" было теперь два американских авианосца. Именно после получения этих данных Ямамото решил отменить высадку десантов на Мидуэй и Алеутские острова, а также отозвать с севера 2-е оперативное соединение адмирала Какута. С этими силами, собранными вместе, он имел бы три авианосца против двух оставшихся у американцев.
Тем временем "Хирю" готовился провести вечером новую атаку. Оставшиеся самолеты - 5 бомбардировщиков, 5 торпедоносцев и 10 истребителей - уже начали подниматься в воздух, когда в 17.01 авианосец атаковали бомбардировщики с "Энтерпрайза". Через полчаса Ямамото узнал, что горит и последний, четвертый, его авианосец.
Спасти какой-либо из трех ранее поврежденных авианосцев уже было невозможно. К тому же в 13.00 американская подводная лодка "Наутилус", упорно державшаяся около японских кораблей, обнаружила на горизонте три больших столба дыма. Это были охваченные пожаром японские авианосцы. Подводная лодка подошла к "Кага" и выпустила в него три торпеды. Две из них прошли мимо цели, а третья попала, но не взорвалась. Но "Kaгa" и без того был обречен; он затонул в 19.25 в результате внутреннего взрыва. "Акаги" и "Хирю" оставались на плаву до следующего утра, пока японский эсминец не потопил их своими торпедами.
Итак, авианосец "Йорктаун" был покинут экипажем, а все группы американских самолетов серьезно пострадали. Эскадрильи торпедоносцев были почти полностью уничтожены, а бомбардировщики и истребители понесли очень тяжелые потери. Но и у противника не осталось самолетов, чтобы оспаривать господство в воздухе, а значит, и на море. В результате господство в воздухе перешло теперь в руки измотанных и уставших летчиков "Энтерпрайза" и "Хориста". Боевые действия 4 июня целиком определили исход сражения у Мидуэя.
На самом атолле в течение всей второй половины дня 4 июня защитники с напряжением ожидали дальнейшего развития событий. Они не имели точных сведений о результатах действий американской авианосной авиации и знали только, что самолеты с Мидуэя, понесшие столь тяжелые потери, едва ли могли нанести противнику серьезный урон. 4 июня пополудни самолеты В-17 мелкими группами были высланы для атаки японского оперативного соединения. Однако достичь попаданий им не удалось. После получения донесения о горящем японском авианосце в 200 милях северо-западнее Мидуэя в воздух были подняты 11 оставшихся пикирующих бомбардировщиков авиации морской пехоты. На пути они встретили фронт низкой облачности и дождя и потому не смогли найти своей цели. Торпедоносцы, взлетевшие почти одновременно с ними, также не обнаружили противника. В течение всей ночи авиация, базировавшаяся на атолл, готовилась к отражению высадки десанта. Когда в 01.30 японская подводная лодка обстреляла Мидуэй, все решили, что это является началом атаки атолла.