Вследствие победы над Францией в руки вермахта попало огромное количество трофейного оружия, в том числе и тяжелых артиллерийских орудий. Но «освоение» этого наследства шло медленно. Причин было несколько, но, прежде всего — недостаточное количество и крайне плохое качество боеприпасов. Например, когда во время боев за Киев в 1941 г. немцы попытались применить несколько дивизионов французских 155-мм гаубиц и 220-мм мортир, оказалось, что около половины выпущенных снарядов попросту не взрываются. Пришлось отложить ввод в бой французских артсистем до налаживания производства новых боеприпасов к ним. В конечном итоге, большинство трофейных тяжелых орудий попало в части береговой артиллерии.
К моменту начала операции «Барбаросса» в структуре артиллерии РГК произошли очередные изменения. Увеличилось количество органов управления — теперь в вермахте было 59 артиллерийских командований и 35 штабов артполков. До 39 увеличилось количество дивизионов АИР. Как уже отмечалось, в связи с формированием новых дивизий в их состав передали 17 дивизионов — восемь тяжелых гаубичных и девять смешанных. Но это отнюдь не означало ослабления артиллерии РГК — уменьшение количества стволов калибра 105 и 150 мм компенсировали формированием новых частей крупнокалиберной артиллерии. В частности, количество дивизионов 210-мм мортир возросло почти вдвое — с 10-ти до 19-ти. Также очень быстро росла численность штурмовой артиллерии — в мае 1941 г. вермахт располагал шестью дивизионами штурмовых орудий (в каждом — три батареи по семь орудий) и двумя отдельными батареями. Все шире распространялась реактивная артиллерия — к началу войны против СССР вермахт располагал 18-ю дивизионами реактивных установок (девять из них объединили в три полка, остальные были отдельными). Велись работы и в области сверхтяжелой артиллерии — на вооружение приняли 600-мм мортиры «агрегат 040» (более известны как «Карл») и 800-мм железнодорожную установку «Дора». Численность железнодорожной артиллерии возросла, главным образом, за счет увеличения с восьми до 13-ти количества батарей 280-мм установок. На вооружение были приняты и трофейные французские железнодорожные установки — две 340-мм пушки и две 400-мм гаубицы.
Организация управления артчастями РГК во время начального периода войны против СССР существенных изменений не претерпела. Новшеством стало формирование т. н. «артиллерийских полковых штабов особого назначения», предназначенных для управления разнотипными артдивизионами и отдельными батареями, приданными тем или иным общевойсковым либо танковым соединениям. Например, 23 июля 1941 г. 4-й танковой группе был передан 802-й артиллерийский полковой штаб особого назначения, в подчинении которого находилось в общей сложности четыре дивизиона: 1-й и 2-й дивизионы 84-го артполка с немецкими и чешскими 240-мм пушками, 768-й артдивизион с 210-мм мортирами и 680-й артдивизион с 150-мм пушками.
Весной 1942 г. в составе артиллерии РГК появились первые части, вооруженные трофейными советскими орудиями — 1-й и 2-й стационарные артдивизионы «Смоленск». Каждый из них имел в своем составе пять батарей — четыре со 122-мм и 152-мм гаубицами и одну с 76,2-мм пушками Ф-22. Во второй половине года в составе артиллерии РГК появились первые части, вооруженные самоходными орудиями — 1-й и 2-й самоходно-артиллерийские полки. Они были сформированы во Франции и вооружены САУ на шасси трофейных транспортеров «Лоррэн». Каждый полк имел шесть шестиорудийных батарей. Пять из них были вооружены самоходными 150-мм гаубицами, а шестая — 105-мм гаубицами. 1-й самоходно-артиллерийский полк был расформирован уже в декабре 1942 г., а его матчасть распределили между тремя дислоцированными во Франции пехотными дивизиями. 2-й же полк в 1943 г. вошел в состав воссоздаваемой после разгрома в Тунисе 21-й танковой дивизии и стал именоваться 155-м панцерартиллерийским полком.