С началом формирования в Красной Армии механизированных корпусов летом 1940 года и переходом автобронетанковых войск на новую организацию все танковые бригады постепенно расформировывались, а их кадры и материальная часть поступали на укомплектование новых танковых дивизий. Не стали исключением и тяжелые танковые бригады. Так, на базе 20-й Краснознаменной тяжелой танковой бригады, например, была сформирована 1-я Краснознаменная танковая дивизия 1-го механизированного корпуса. Правда, к началу Великой Отечественной войны довольно большое число Т-28 требовало ремонта, а так как производство запасных частей к ним было прекращено еще в июне 1940 года, а запас ранее выпущенных почти полностью истощился, ремонтировать боевые машины было нечем. Например, в докладе о ходе формирования 5-й танковой дивизии от 4 августа 1940 года говорилось: «Средних танков Т-28 прибыло 30 штук, из них 23 требуют среднего ремонта. Запасных частей к ним совершенно нет».
В итоге из находившихся в войсках формально боеспособными можно считать 292 танка Т-28, однако неизвестно, сколько из них требовало войскового ремонта – замены катков, траков, аккумуляторов и т.п. Учитывая же хроническое отсутствие запасных частей к Т-28, не будет преувеличением считать полностью исправными и боеготовыми примерно 170 – 200 машин. Кроме того, следует учитывать, что танки с пушкой КТ-28 совершенно не годились для борьбы с танками противника, а могли использоваться только для поддержки пехоты. Количество Т-28, находившихся непосредственно в танковых дивизиях механизированных корпусов, было значительно меньше, чем их общее количество в военных округах. Остальные машины, по-видимому, хранились на складах.
Первыми вступили в бой с немцами танки Т-28 5-й танковой дивизии, дислоцировавшейся в литовском городе Алитусе. Части дивизии, еще 19 июня выведенные из военного городка, заняли оборону на восточной окраине города на правом берегу реки Неман. Поэтому когда 22 июня 1941 года в 4.20 утра немецкая авиация стала бомбить парки дивизии, там уже никого не было. Вслед за этим танки и пехота 39-го моторизованного корпуса Вермахта стали переправляться через Неман по двум мостам, и здесь они были встречены огнем артиллерии и контратаками советских танков. Во время боя за мосты геройски действовал личный состав 1-го батальона 9-го танкового полка. Он имел 24 танка Т-28 и с места артогнем поддерживал атаку танков БТ-7 2-го батальона. Тем самым движение противника через северный мост было приостановлено. Только в 7.00 23 июня, при появлении новых частей противника и вследствие нехватки боеприпасов, части 5-й танковой отошли. За день боя 9-й танковый полк потерял 16 Т-28 на поле боя, а остальные вышли из строя по техническим причинам и были подорваны экипажами.
Танки Т-28, находившиеся на складе под Минском, были захвачены немцами в первые же дни войны. Только одна машина, управляемая старшиной Д.Малько, 29 июня на предельной скорости промчалась по улицам столицы Белоруссии, тараня вражеские автомобили и тягачи. Танк прошел через весь город и был подбит на его восточной окраине. Малько был ранен, но сумел покинуть танк и выйти к своим. Уже после войны Д.Малько за этот бой был награжден орденом Отечественной войны I степени.
На Юго-Западном фронте Т-28 4-го и 15-го механизированных корпусов вступили в бой 23 – 24 июня. Однако сильная изношенность матчасти и отсутствие запасных частей не позволили в полной мере использовать их боевые качества.
Здесь небезынтересно привести воспоминания А.Бурды, командира роты Т-28: «14 июля в бою под Белиловкой мы атаковали и уничтожили колонну противника, которая прорывалась к Белой Церкви в сопровождении 15 танков. Я с моим башенным стрелком Васей Стороженко шестнадцатью снарядами уничтожил немецкий танк, четыре машины с боеприпасами и тягач с пушкой...