В качестве имперского министра вооружения и боеприпасов и генерального уполномоченного по вооружению в системе четырехлетнего плана Шпеер пользовался широкими полномочиями в области контроля над производством. Первоначально его полномочия охватывали строительство и производство вооружения для ОКХ. Затем его полномочия были постепенно расширены таким образом, что они стали включать морское вооружение, продукцию гражданской промышленности и, наконец, с 1 августа 1944 года вооружение для ВВС. Как руководящий работник центрального управления по планированию, располагавший верховными полномочиями в области планирования германской промышленности и распределения и разработки сырьевых ресурсов, Шпеер придерживался мнения, что управление имело право давать указания Заукелю о поставках рабочей силы для тех отраслей промышленности, которые оно контролировало, и ему удалось добиться проведения своей точки зрения в жизнь вопреки возражениям Заукеля. Была установлена практика, согласно которой Шпеер передавал Заукелю заявки на общее число необходимых ему рабочих, а Заукель набирал рабочую силу и распределял ее между различными отраслями промышленности в соответствии с инструкциям», которые он получал от Шпеера.
Шпеер направляя заявки Заукелю, знал, что они будут удовлетворены за счет иностранных рабочих, работавших по принуждению. Он принимал участие в совещаниях, на которых обсуждались вопросы расширения программы рабского труда с тем, чтобы удовлетворить его нужды. Он участвовал в совещаниях от 10 и 12 августа 1942 года вместе с Гитлером и Заукелем, на которых было решено, что Заукель должен был насильственным порядком привозить рабочих с оккупированных территорий в том случае, когда это было необходимо для удовлетворения потребностей в рабочей силе тех отраслей промышленности, которыми ведал Шпеер. Шпеер также участвовал в совещании в ставке Гитлера 4 января 1944 года, на котором было принято решение, согласно которому Заукель должен был набрать «по меньшей мере четыре миллиона новых рабочих с оккупированных территорий» с тем, чтобы удовлетворить требования Шпеера на рабочую силу, хотя Заукель указывал, что он может сделать это лишь с помощью Гиммлера.
Заукель постоянно информировал Шпеера и его представителей о том, что иностранные рабочие набираются принудительным порядком. На совещании 1 марта 1944 года заместитель Шпеера очень подробно расспрашивал Заукеля о том, почему ему не удалось выполнить требование на 4 миллиона рабочих, которые должны были быть доставлены с оккупированных территорий. В некоторых случаях Шпеер требовал рабочих из определенных зарубежных стран. Так, на совещании 10—12 августа 1942 года Заукелю было поручено доставить Шпееру «еще миллион русских рабочих для германской промышленности вооружения до истечения октября месяца 1942 года». На заседании центрального управления по планированию 22 апреля 1943 года Шпеер обсуждал планы набора русских рабочих для использования их в угольных шахтах и категорически отклонил предложение пополнить дефицит в рабочей силе на этих предприятиях за счет немецких рабочих.
Шпеер утверждал на суде, что он выступал за реорганизацию программы использования рабского труда с тем, чтобы обратить большее внимание на использование немецких рабочих в военной промышленности Германии и на использование рабочих на оккупированных территориях в местной промышленности по производству предметов широкого потребления, которые прежде производились в Германии. Шпеер предпринял шаги в этом направлении, создав на оккупированных территориях так называемые предприятия закрытого типа, которые использовались для производства изделий, предназначенных для отправки в Германию. Лица, работавшие на этих предприятиях, не подлежали отправке в Германию на рабский труд, и всякий рабочий, получивший приказ отправиться в Германию, мог избежать депортации, если он поступал на работу на предприятия закрытого типа.
Эта система, хотя она несколько менее бесчеловечна, чем угон в Германию, все же является незаконной. Система предприятий закрытого типа играла лишь незначительную роль во всей системе программы рабского труда; хотя Шпеер и настаивал на ее проведении в дополнение к программе рабского труда, будучи осведомлен о способах, которыми она проводилась в жизнь, официально он был основным потребителем рабочей силы и постоянно требовал расширения этой программы.