В качестве имперского министра вооружения и боеприпасов и генерального уполномоченного по вооружению в системе четырехлетнего плана Шпеер пользовался широкими полномочиями в области контроля над производством. Первоначально его полномочия охватывали строительство и производство вооружения для ОКХ. Затем его полномочия были постепенно расширены таким образом, что они стали включать морское вооружение, продукцию гражданской промышленности и, наконец, с 1 августа 1944 года вооружение для ВВС. Как руководящий работник центрального управления по планированию, располагавший верховными полномочиями в области планирования германской промышленности и распределения и разработки сырьевых ресурсов, Шпеер придерживался мнения, что управление имело право давать указания Заукелю о поставках рабочей силы для тех отраслей промышленности, которые оно контролировало, и ему удалось добиться проведения своей точки зрения в жизнь вопреки возражениям Заукеля. Была установлена практика, согласно которой Шпеер передавал Заукелю заявки на общее число необходимых ему рабочих, а Заукель набирал рабочую силу и распределял ее между различными отраслями промышленности в соответствии с инструкциям», которые он получал от Шпеера.
Шпеер направляя заявки Заукелю, знал, что они будут удовлетворены за счет иностранных рабочих, работавших по принуждению. Он принимал участие в совещаниях, на которых обсуждались вопросы расширения программы рабского труда с тем, чтобы удовлетворить его нужды. Он участвовал в совещаниях от 10 и 12 августа 1942 года вместе с Гитлером и Заукелем, на которых было решено, что Заукель должен был насильственным порядком привозить рабочих с оккупированных территорий в том случае, когда это было необходимо для удовлетворения потребностей в рабочей силе тех отраслей промышленности, которыми ведал Шпеер. Шпеер также участвовал в совещании в ставке Гитлера 4 января 1944 года, на котором было принято решение, согласно которому Заукель должен был набрать «по меньшей мере четыре миллиона новых рабочих с оккупированных территорий» с тем, чтобы удовлетворить требования Шпеера на рабочую силу, хотя Заукель указывал, что он может сделать это лишь с помощью Гиммлера.
Заукель постоянно информировал Шпеера и его представителей о том, что иностранные рабочие набираются принудительным порядком. На совещании 1 марта 1944 года заместитель Шпеера очень подробно расспрашивал Заукеля о том, почему ему не удалось выполнить требование на 4 миллиона рабочих, которые должны были быть доставлены с оккупированных территорий. В некоторых случаях Шпеер требовал рабочих из определенных зарубежных стран. Так, на совещании 10—12 августа 1942 года Заукелю было поручено доставить Шпееру «
Шпеер утверждал на суде, что он выступал за реорганизацию программы использования рабского труда с тем, чтобы обратить большее внимание на использование немецких рабочих в военной промышленности Германии и на использование рабочих на оккупированных территориях в местной промышленности по производству предметов широкого потребления, которые прежде производились в Германии. Шпеер предпринял шаги в этом направлении, создав на оккупированных территориях так называемые предприятия закрытого типа, которые использовались для производства изделий, предназначенных для отправки в Германию. Лица, работавшие на этих предприятиях, не подлежали отправке в Германию на рабский труд, и всякий рабочий, получивший приказ отправиться в Германию, мог избежать депортации, если он поступал на работу на предприятия закрытого типа.
Эта система, хотя она несколько менее бесчеловечна, чем угон в Германию, все же является незаконной. Система предприятий закрытого типа играла лишь незначительную роль во всей системе программы рабского труда; хотя Шпеер и настаивал на ее проведении в дополнение к программе рабского труда, будучи осведомлен о способах, которыми она проводилась в жизнь, официально он был основным потребителем рабочей силы и постоянно требовал расширения этой программы.