А уже летом 40-го Эрнст получает распоряжение Технического управления, подписанное Удетом, о сокращении программы выпуска 177-х, отсрочке их поставок и временной приостановке всех контрактов с поставщиками готовых изделий и материалов для этих машин. Это было дело рук исполнительного директора Коппенберга из компании «Юнкерс» — для его Ju-88 нужны были материальные ресурсы, а Англию все уже считали наполовину побежденной. Но через четыре месяца, в октябре 40-го, новый приказ о возобновлении серийного производства Не-177 по полной программе. Пока шла переналадка производства, выпуск машин почти прекратился. Но когда он наладился, выпущенные самолеты начали загораться в воздухе и падать со сломанными крыльями. Из 35 выпущенных предсерийных машин 80 % было потеряно по разным причинам. Серийное производство «Грифов» в 1941 году опять прекратили.
Но Эрнст не сдавался: организовал изучение каждого дефекта, еще усилил конструкцию крыла и увеличил площадь киля. Старался внедрить каждое толковое предложение военных. Пилотская кабина переделывалась четыре раза, а бомбовый отсек — четырнадцать раз. Вес самолета увеличивался, и его летные характеристики ухудшались. Но с моторами Хейнкель ничего поделать не мог. Их клапаны прогорали уже в конце дальнего полета, обрывались шатуны и разбивали картер с горячим маслом, которое попадало на раскаленные выхлопные патрубки.
Эрнст в подавленном состоянии — ситуация накаляется. Новый призыв квалифицированных рабочих авиапромышленности в армию. Перевод Шпеером квалифицированных рабочих с его предприятий на заводы по производству боеприпасов. Теперь в авиапромышленность вместо мобилизованных направлялись иностранные рабочие. Но и их не хватало. Помог Гиммлер: компания Хейнкеля получила 6 тысяч узников концлагеря Ораниенбург для работы там над Не-177 и еще тысячу для других ее заводов. До сентября 1942 года построили только 102 «Грифа», а сдали заказчику всего 33, но из них готовы к вылету только два.
Геринг у себя в Каринхалле 12 сентября собирает «на ковер» всех причастных к программе Не-177. Эрнст узнает у адъютанта Гитлера, генерала Энгеля, что «хозяин» негодует, почему Германия до сих пор не имеет дальнего бомбардировщика для ударов по английскому судоходству и советским военным заводам на Урале. Геринг ругал Хейнкеля и Дорнье последними словами, но ничего путного, кроме обычных заклинаний, предложить не мог. Решили запустить в серийное производство улучшенную модификацию «Грифа» А-3. Мотор сдвинули вперед на 200 мм, изменили выхлопные патрубки, а фюзеляж удлинили на 1,6 метра.
Тем временем 50-я эскадра дальних бомбардировщиков осваивала первые Не-177 А-1, а потом и А-3. Когда Гитлер приказал Мильху любой ценой спасти армию Паулюса под Сталинградом, двадцать семь «Грифов» перелетели в январе 1943 года в Запорожье и оттуда начали возить грузы на полевые аэродромы армии Паулюса. Брали в бомбоотсеки только две тонны, как и Не-111. Но, в отличие от него, обратно раненых взять не могли и летели пустые. В первый же вылет из-за технических неисправностей потерпел катастрофу «Гриф» командира полка, майора Шеде. Затем Не-177 перенацелили на бомбежку наступающей Красной армии. За неделю из-за своих дефектов разбилось еще шесть машин, и полк I/FKG 50 вернули в Германию. Читая эти донесения, Эрнсту становилось не по себе — его «Грифы» ненадежны и падают.
Лето 1943-го обещало быть жарким, а здесь, в горах, было прохладно и солнечно. В резиденцию Гитлера в Оберзальцберге Эрнста пригласили вместе с самыми продуктивными и значимыми авиаконструкторами. В большой приемной ожидали Дорнье, Мессершмитт, Танк от «Фокке-Вульфа», Блюм из «Арадо», Хертель от «Юнкерса» и Вогт из «Блом и Фосс». Эрнста поразило, что в приемной не было никого из Люфтваффе и Министерства авиации. Адъютант объявил, что вызывать на беседу будет каждого в отдельности, и пригласил Эрнста.
Гитлер показался ему спокойным и выглядевшим вполне здоровым. Первый монолог заворожил Эрнста откровенной и реалистичной оценкой сложившейся критической ситуации. Гитлер начал с предупреждения: никто в Люфтваффе не знает об их беседе, влияние Геринга или Мильха исключено. Он хочет получить от Эрнста его личную оценку технических проблем, не искаженную господами из Люфтваффе. До сих пор он никогда не вмешивался в дела Люфтваффе потому, что безгранично доверял Герингу, который создавал лучшие в мире Военно-воздушные силы. Однако ужасное разочарование прошедших двух лет и бесконечная цепь информации и обещаний, которые оказались ложными, вынудили его пойти на этот прямой разговор. Гитлер просил Эрнста дать абсолютно честные ответы на его вопросы.