В 1939 году был награжден, за Польскую кампанию, Железным крестом I степени, а 4 июля 1940 года, после победы над Францией, Рыцарским крестом Железного креста. В середине 1941 года находившаяся под командованием «Зеппа» Дитриха бригада
Во главе своей дивизии «Зепп» Дитрих отличился в сражении за Ростов (в ноябре-декабре 1941 года), за что 31 декабря был награжден Дубовыми листьями к Рыцарскому кресту Железного креста. По воспоминаниям сослуживцев, он полностью воплощал в себе тип «отца-командира», заботившегося о том, чтобы его люди ни в чем не испытывали недостатка, одно появление которого поднимало боевой дух.
Как только «Зепп» приезжал в расположение части, сразу поднимался радостный переполох, на столах появлялись тарелки с сыром, салом, колбасой, деревянные дощечки в форме дубовых листьев с сырым мясным фаршем-
Он разделял со своими подчиненными все тяготы военной страды на Востоке, где отморозил пальцы на ноге и был награжден медалью «За зимнюю битву на Востоке», не без иронии прозванную германскими солдатами
16 марта 1943 года ее командир Йозеф Дитрих был награжден Мечами к Дубовым листьям Рыцарского креста Железного креста. 27 июля 1943 года
Дитрих возражал против плана Арденнского контрнаступления, считая его успех нереальным, но в итоге подчинился приказу Гитлера. После неудачи Арденнского контрнаступления 6-я танковая армия СС
«Зеппа» Дитриха была переброшена на Восток, для осуществления контрнаступления в районе озера Платтензее (Балатон). Дитрих сам повел свои войска в наступление, добился частных успехов, но в итоге был разбит превосходящими силами Красной армии.После неудачи в апреле 1945 года Гитлер лишил 1-ю, 2-ю, 3-.ю
и 9-ю танковые дивизии СС почетных манжетных лент с вышитым серебром названием формирования. По некоторым сведениям, Йозеф Дитрих подчинился этому приказу фюрера (и даже собственноручно срезал свою манжетную ленту ножом для разрезания бумаги), но по другим — проигнорировал его.В апреле 1945 года войскам «Зеппа» Дитриха была поручена фюрером оборона Вены. 17 апреля, невзирая на категорический запрет Гитлера, Дитрих вывел остатки своей 6-й танковой армии СС
из Вены и 8 мая сдался частям 36-й пехотной дивизии США восточнее города Санкт-Пёльтен. 16 июля 1946 года он был приговорен в 25 годам тюремного заключения за военные преступления, в которых отказался признать себя виновным (соучастие в массовых убийствах американских военнопленных в ходе Арденнской операции 1944 года). 22 октября 1946 года Дитрих был, однако, освобожден за недоказанностью обвинений. 14 мая 1957 года он был на Мюнхенском процессе за участие в казнях руководства СА в