Гораздо больше его занимал проект создания ракет, которыми можно стереть с лица Земли ненавистную Англию. Может быть, именно то, что добраться до Англии по суше невозможно, а морем несколько нереально, и заставляла его подгонять разработчиков летательных снарядов для уничтожения «проклятого острова». В середине лета 1943 года он приказал бросить все силы на создание суперракеты Фау-2 — длиной 14 метров и весом 3 тонны. По его распоряжению было предписано изготовлять по 900 таких ракет в месяц. Проект получил громкое название «Операция «Возмездие»». Ракеты были созданы. Но, по словам Шпеера, «когда осенью 1944 года, наконец, дошло дело до их боевого применения, они обнаружили себя как почти полная неудача. Наш самый дорогой проект оказался и самым бессмысленным. Предмет нашей гордости, какое-то время и мне особенно импонировавший вид вооружения обернулся всего лишь растратой сил и средств. Помимо всего прочего, он явился одной из причин того, что мы проиграли и оборонительную воздушную войну». Гораздо разумнее, сетовал он, было бы развивать другую программу, не столь масштабную и более дешёвую — производство ракет «земля — воздух», которые могли уничтожить «бомбардировщики противника на высоте до 15 километров и обрушивать на них 300 кг взрывчатки».
«Ракетным гением» рейха был 28-летний инженер Вернер фон Браун. Шпееру нередко приходилось инспектировать базу Пенемюнде, где располагался испытательный ракетный полигон рейха. И он питал к Брауну и его коллегам самые тёплые чувства. «Я был просто захвачен тем, что я увидел здесь ещё в 1939 году в виде первых набросков, — вспоминает он, — это было как планирование чуда. Эти технари с их фантастическими картинами будущего, эти романтики с их расчётами производили на меня при каждом моём их посещении совершенно особое впечатление, и как-то незаметно для себя я почувствовал, что они мне сродни. Это чувство уже сразу прошло проверку делом, когда поздней осенью 1939 года Гитлер вычеркнул этот проект вообще из всяких категорий срочности, тем самым автоматически отпадали кадровые возможности и поставки материалов. По доверительному соглашению с Управлением вооружений сухопутных сил я, не имея на то формального разрешения, продолжал, тем не менее, строить пенемюндские сооружения — непокорность, которую тогда, вероятно, я один мог себе позволить».
Благодаря заботе министра вооружений проект всё-таки был возрождён к жизни. 13 июня 1942 года Шпеер выехал на остров Пенемюнде в сопровождении министров всех трёх родов войск. Инженеры собирались показать им запуск одной из первых дистанционно управляемых немецких ракет.
«В этом было что-то нереальное, — рассказывает Шпеер. — Полковник Дорнбергер, Вернер фон Браун, весь штаб и мы с напряженным интересом ожидали результата. Мне было известно, какие надежды связывал с этим экспериментом молодой изобретатель. Для него и его коллектива эта разработка служила прежде всего не совершенствованию вооружений, а прорыву в мир техники будущего.
Лёгкий дымок говорил о том, что ёмкости горючего уже заправлены. В пусковую секунду, сначала как бы нехотя, а затем с нарастающим рокотом рвущего оковы гиганта ракета медленно отделилась от основания, на какую-то долю секунды, казалось, замерла на огненном столбе, чтобы затем с протяжным воем скрыться в низких облаках. Вернер фон Браун сиял во всё лицо. Я же был просто потрясён этим техническим чудом — его точностью, опровержением на моих глазах привычного закона тяготения — без всякой механической тяги вертикально в небо вознеслись тринадцать тонн груза! Специалисты принялись объяснять нам, на каком расстоянии сейчас должен находиться снаряд, когда через полторы минуты послышался стремительно нарастающий вой, и ракета упала где-то неподалёку. Мы окаменели, взрыв ухнул примерно в километре от нас. Как мы узнали позднее, отказало управление. Но создатели ракеты были удовлетворены, потому что удалось разрешить самую сложную проблему — отрыв от земли. Гитлер же и впредь сохранял «сильнейшие сомнения» относительно самой возможности прицельного управления ракетой.
14 октября 1942 года я мог доложить ему, что его сомнения рассеяны: вторая ракета успешно пролетела по намеченной траектории 190 км и с отклонением в четыре километра упала в заданном районе. Впервые продукт человеческого изобретательского духа на высоте чуть более ста километров провёл бороздку по мировому пространству. Это казалось шагом навстречу самым смелым мечтам. Теперь уже и Гитлер проявил живой интерес, но, по своему обыкновению, сразу же резко завысил свои пожелания. Он потребовал, чтобы первый одновременный залп был бы дан «не менее чем пятью тысячами ракет».