С 12 мая 1942 года части 21-й армии участвовали в Харьковском сражении (12—29 мая). В полосе наступления 21-й армии части 76-й и 293-й стрелковые дивизий неожиданно для противника форсировали реку Северский Донец и захватили на ее правом берегу два небольших плацдарма. К полудню 12 мая, прорвав оборону противника на 5—10 километров, дивизии образовали общий плацдарм, вплотную подойдя к укрепленным опорным пунктам врага в Графовке и Муроме. Командующий Юго-Западным фронтом Маршалом Советского Союза С.К. Тимошенко отдал указания генералу В.Н. Гордову ускорить продвижение войск на запад и овладеть этими пунктами. Однако здесь наши войска встретили упорное сопротивление и вели бои в течение всего дня, так и не овладев ими. В то же время соседняя левофланговая 227-я стрелковая дивизия, обходя Муром с юга, продвинулась на 12 километров.
Все попытки частей взять фронтальными атаками опорные пункты противника в Графовке, Шамино и Муроме оказались безуспешными. Поэтому маршал Тимошенко приказал командующему армией В.Н. Гордову прекратить бесполезные атаки, блокировать эти узлы сопротивления частью сил, а плавными силами развивать наступление на северо-запад.
К вечеру 14 мая войска 21-й армии генерала Гордова вели бои на рубеже Нижний Ольшанец, Графовка, Шамино, Муром, Вергелевка, Пыльная. В течение 15—16 мая 1942 года обстановка на северном участке осложнилась. Немецкое командование перебросило из-под Белгорода на Муромское направление части 168-й пехотной дивизии. Они с ходу начали контратаки из района Зиборовки, Нечаевки и Черемошного против войск 21-й армии, пытавшихся продолжить наступление.
За пять дней наступления войска Юго-Западного фронта не смогли достичь существенного результата. Вместе с тем для советского командования осталось незамеченным сосредоточение и перегруппировка войск противника перед 57-й и 9-й армиями Южного фронта. Для удара по 9-й армии немецкое командование подготовило 11 дивизий и до 360 танков.
Начавшееся утром 17 мая 1942 года контрнаступление войск группы «Клейст» на южном фланге барвенковского плацдарма было полной неожиданностью для советского командования. Оборона 9-й армии была прорвана. Немецкая авиация разрушила вспомогательный пункт управления и узел связи 9-й армии в Долгеньком, что полностью дезорганизовало управление войсками армии в самый критический момент боя.
Развивая полученный успех, 1-я немецкая танковая дивизия наступала на Изюм, громя разрозненные части 9-й армии. На участке 21-й армии генерала Гордова немецкое командование нанесло вспомогательный удар силами 168-й пехотной дивизии на Муром. Но он особого успеха не имел, так как был остановлен частями 293-й стрелковой дивизии. Однако впоследствии враг оттеснил ее с занимаемого рубежа к западной границе Мурома.
Предпринятые наступательные действия советских войск 18— 19 мая успеха не имели. Ведя упорные бои с численно превосходящими силами противника, части 21-й армии вынуждены были отойти с занимаемых рубежей. В результате на участке между Муромом и Вергелевкой образовался выступ, где немцы сосредоточили два полка 83-й пехотной дивизии, образовавшие «боевую группу Гольвитцера».
20 мая 1942 года 28-я армия, перейдя в наступление, предприняла попытку разгромить немецкую танковую группировку в районе Веселое — Терновая. В 12 часов немецкие войска нанесли контрудар при поддержке танков и авиации. Части дивизий 28-й армии стали отступать по всему фронту в восточном направлении, открывая тем самым тылы соединений 21-й армии генерала Гордова.
В 17 часов 20 мая 1942 года «боевая группа Гольвитцера» начала наступление на муромском направлении. Немецким войскам удалось прорвать оборону 21-й армии и захватить северо-западную часть Мурома. В этой обстановке командующий 21-й армией генерал Гордов начал отвод частей 227-й стрелковой дивизии и 34-й мотострелковой бригады из образовавшегося «мешка» и попытался организовать оборону на промежуточных рубежах. Но поспешный отход на левом фланге соседних соединений 28-й армии сорвал эти планы.
Оперативно-стратегическая обстановка изменилась в пользу противника. По согласованию со Ставкой ВГК маршал Тимошенко принял решение о переходе к обороне на рубеже Волчанск — Балаклея вдоль левого берега реки Северский Донец. Войскам 21-й, 28-й, 38-й и 9-й армий ставилась задача не допустить развитие удара противника из района Харькова на восток.
Успешно начавшаяся Харьковская наступательная операция завершилась тяжелым поражением. Немцы перешли в наступление, в результате которого большая часть советских войск оказалась окруженной под Харьковом.
С 6 июня 1942 года генерал-майор Гордов командовал 9-й армией, переданной в состав Юго-Западного фронта. 17 июня 1942 года Ставка ВГК своей директивой № 170454 потребовала немедленно возвратить генерал-майора Гордова на 21-ю армию и категорически запрещала командующему Юго-Западным фронтом брать из состава этой армии какие бы то ни было части и соединения для усиления других участков.