Однако наиболее сильным потрясением для вермахта оказались не потери, а то, что советские танки были лучше, чем их собственные. 3 июля два советских танковых корпуса нанесли удар по 3-й танковой группе силами 600 танков Т-34. Т-34 весил 28 тонн и был вооружен 76-мм пушкой. Он полностью превосходил Pz-III и Pz-IV по всем параметрам, кроме связи. При этом по советской классификации Т-34 считался средним танком! Вскоре после этого появились и тяжелые танки КВ-1. Они весили 48 тонн и были вооружены 76-мм или 85-мм пушками с высокой начальной скоростью снаряда, а на некоторых машинах были даже установлены 152-мм гаубицы.
Реакция немецких войск на Т-34 граничила с паникой. Многие офицеры хотели получить простую копию Т-34, но это было невозможно, поскольку в его дизельном двигателе использовался алюминий, которого в Германии не хватало. Вместо этого для изучения вопроса была учреждена комиссия из предпринимателей, промышленников и специалистов управления вооружений сухопутных войск. Комиссия быстро завершила работу, и в ноябре 1941 года управление вооружений приняло решение, основанное на ее выводах. Для борьбы с новыми советскими танками предполагалось разработать две собственные модели танков: Pz-V «Пантера» (весом до 35 тонн) и Pz-VI «Тигр» (весом до 60 тонн).
Уступая противнику в численности и качестве, танковые дивизии осуществили первые грандиозные операции на окружение на Восточном фронте, и все они увенчались успехом. Огромные силы советских войск были уничтожены, помимо прочего, под Минском, Смоленском, Уманью, Вязьмой, Брянском и Черниговкой (у Азовского моря). В кольце под Киевом, которое замкнули 2-я и 1-я танковые группы (которыми командовали, соответственно, Гудериан и фон Клейст), оказались сразу несколько советских армий, которые затем были уничтожены немецкой пехотой. К 20 сентября, когда сражение завершилось, группа армий «Юг» захватила 667 000 пленных, 3718 орудий и 884 единицы бронетехники. Однако этого было недостаточно. Из-за плохой погоды и недостаточно развитой дорожной сети Советского Союза в октябре танковые клинья забуксовали, а в начале декабря и вовсе остановились. 6 декабря Сталин начал свое первое зимнее наступление, и вскоре вермахт начал отступать.
Вместо того чтобы усиливать и направлять подкрепления и новое снаряжение опытным дивизиям, Гитлер приказал сформировать новые соединения. По ходу войны его фактически больше заботило количество дивизий, несмотря на то что из-за потерь опытные дивизии «усыхали» до размера полков. Эта недальновидная политика распространялась и на панцерваффе. Еще в начале октября Гитлер (через ОКХ) приказал сформировать 22, 23 и 24-ю танковые дивизии. В феврале 1942 года ОКХ приказало также сформировать в Норвегии 25-ю танковую дивизию. Тем временем 5-я легкая дивизия в Северной Африке была перевооружена и переименована в 21-ю танковую дивизию.
В 1941 году Германия вторглась в Советский Союз на трех основных направлениях: северном, центральном и южном (соответствующие наименования получили и группы армий: «Север», «Центр» и «Юг»). К концу весеннего таяния снегов 1942 года ее сил хватало для удара лишь на одном из этих направлений. Гитлер выбрал южное. Соответственно, ОКХ уменьшило количество танков в дивизиях на других направлениях до одного батальона на танковый полк. Наступление, которое вела группа армий «Юг», оказалось менее успешным, чем надеялось руководство вермахта. После безуспешного наступления под Харьковом советские войска в основном отступали в направлении на Сталинград и Кавказ вместо того, чтобы оказывать сопротивление и попадать в окружение. В это время Гитлер совершил решающую ошибку, разделив группу армий «Юг» на группы армий А и Б и направив их, соответственно, на Кавказ и Сталинград. В результате он роковым образом распылил силы. Группа армий Б была вынуждена прикрывать свои фланги войсками союзников (венграми, итальянцами и румынами), пока 6-я армия истекала кровью в уличных боях в Сталинграде. Три ее танковые дивизии (14, 16 и 24-я) без необходимости понесли тяжелые потери. К 19 ноября, когда советские войска начали контрнаступление, в 14-й танковой дивизии оставалось всего пять машин, в 16-й — 28, а в 24-й — 55. Все они были уничтожены еще до капитуляции под Сталинградом 2 февраля 1943 года.
Тем временем в Северной Африке рухнула система снабжения группы армий «Африка». К 12 мая 1943 года все немецкие войска в Тунисе были вынуждены капитулировать. Германия потеряла 10, 15 и 21-ю танковые дивизии, а также ряд других элитных дивизий. Сами немцы прозвали эту капитуляцию «Тунисградом».