В 14.45 произошли два важных события. Один из самолетов «Йорктауна» передал по радио координаты, курс и скорость последнего вражеского авианосца. Оказалось, что он находится в 130 милях на северо-запад от Оперативного Соединения 16. И почти одновременно Оперативное Соединение 17 было атаковано второй раз. «Йорктаун», который сумел развить скорость 19 узлов, получил 2 попадания торпедами. Теперь машины авианосца окончательно встали, он получил сильный крен на левый борт и мог в любой момент перевернуться. Был отдан приказ команде оставить «Йорктаун». Остальные корабли Оперативного Соединения 17 начали снимать команду.
На основании рапорта самолета «Йорктауна» Спрюэнс немедленно отдал приказ поднять ударную авиагруппу. Так как сначала потребовалось принять истребители воздушного патруля, «Энтерпрайзу» понадобился почти час, чтобы поднять 25 пикировщиков (из них 14 принадлежали «Йорктауну»). «Хорнет», который действовал самостоятельно, запоздал с подъемом самолетов, так как не получил вовремя приказ Браунинга. Его 16 SBD взлетели только в 16.04.
В 16.11 Спрюэнс радировал Флетчеру, находящемуся на «Астории», что отправил 2 авиагруппы для атаки четвертого японского авианосца. Он намеревался следовать на запад, пока не примет вернувшиеся самолеты. Спрюэнс запросил: «Имеются ли у вас инструкции на дальнейшие действия?» Флетчер понял, что не может больше командовать боем, и радировал в ответ: «Никаких. Действуйте по собственной инициативе». Теперь командование официально перешло от одного адмирала к другому.
Во время своего полета на запад пикировщики «Энтерпрайза» и «Йорктауна» пролетели над 3 тонущими японскими авианосцами, по которым они нанесли удар утром. В 16.50 на горизонте показались «Хирю» и его сопровождение. Через 15 минут SBD добились 4 попаданий бомбами, и этот авианосец тоже запылал. Пикировщики «Хорнета» даже не стали тратить на него бомбы и атаковали корабли прикрытия, но попаданий не добились.
После того как «Хирю» получил роковые повреждения, японцы больше не могли рассчитывать на победу в битве при Мидуэе. Однако Спрюэнс еще мог проиграть ее. Вечером, после того как его авианосцы посадили вернувшиеся самолеты, он принял второе ключевое решение, определившее исход битвы. Оперативное Соединение 16 будет в течение 5 часов отходить на восток, а потом повернет на обратный курс и подойдет к Мидуэю с северо-востока. Таким образом, утром Спрюэнс сможет оказать помощь гарнизону острова, если японцы все-таки предпримут попытку высадки. Адмирал знал, что у противника еще оставались крупные силы, в том числе быстроходные линкоры, которые по огневой мощи значительно превосходили его крейсера. С помощью гидросамолетов японцы могли организовать слежение за Оперативным Соединением 16, а ночью японцы смогут атаковать его, если Спрюэнс по-прежнему будет следовать на запад. Кроме того, японцы могли иметь пятый авианосец, как сообщала разведка перед боем. Вдобавок существовала вероятность, что японцы за ночь могут отремонтировать один из поврежденных авианосцев. В 19.15 Спрюэнс лег на курс 90o, приказав держать скорость 15 узлов. Он временно выходил из боя. Вскоре на востоке появился Флетчер со своим Оперативным Соединением 17 (без «Йорктауна»).
Решение Спрюэнса было совершенно правильным, хотя и не понравилось горячим головам, которые рвались в погоню за японцами. Американцы не знали, что в море находится сам адмирал Ямамото с большой группой линкоров, чтобы поддержать соединения, наносившие удар по Мидуэю. Он попытался организовать ночную атаку американских авианосцев оставшимися кораблями Нагумо и частью сил Второго Флота вице-адмирала Нобутакэ Кондо. 5 июня в 3.00 несколько японских соединений вышли в точку, где могло оказаться Оперативное Соединение 16, если бы продолжило погоню в западном направлении. В их состав входили 4 линкора, 6 тяжелых крейсеров, 3 легких крейсера, 19 эсминцев. В это же время подводная лодка, за которой следовали 4 тяжелых крейсера и 4 эсминца, должна была обстрелять Мидуэй. Однако на основании сообщений самолетов-разведчиков Нагумо ошибочно решил, что американцы имеют 3 или 4 авианосца. Перед лицом подавляющего превосходства противника в авиации вскоре после полуночи Ямамото отменил высадку на Мидуэй и скомандовал общий отход.
Хотя Спрюэнс не подозревал о намерениях Ямамото, он имел все основания считать, что Мидуэй по-прежнему находится в опасности. 5 июня вскоре после 3.00 он получил радиограмму с подводной лодки «Тамбор», в которой говорилось, что много неопознанных кораблей находятся в 90 милях к западу от острова. Спрюэнс решил, что японцы не отказались от высадки на Мидуэй, и повернул на юго-запад, чтобы приблизиться к острову. На самом деле «Тамбор» заметила те самые 4 тяжелых крейсера и 4 эсминца, которые должны были обстрелять Мидуэй. Но теперь и это передовое соединение японского флота уже повернуло назад. Однако несчастья японцев еще не закончились — ночью тяжелые крейсера «Могами» и «Микума» столкнулись и получили серьезные повреждения.