Тем не менее сначала наступление развивалось успешно. С юга главный удар наносила 6-я армия генерала Авксентия Городнянского. Армейская группа генерала Леонида Бобкина наносила удар на Красноград, обеспечивая 6-ю армию с юго-запада. 57-я армия генерала Кузьмы Подласа и 9-я армия генерала Михаила Харитонова из состава Южного фронта должны были оборонять барвенковский плацдарм с юга, чтобы обеспечить с юга ударную группировку Юго-Западного фронта.
Части армии Городнянского прорвались к Чугуеву и Мерефе. На севере 28-я армия Дмитрия Рябышева и 38-я армия генерала Кирилла Москаленко смогли продвинуться на 65 км в районе Волчанска, но не смогла соединиться с южной группой и замкнуть кольцо окружения. 21-я армия генерала Василия Гордова, действовавшая на севере, ввязалась в борьбу за отдельные немецкие опорные пункты и почти не продвигалась. Тем не менее первый оборонительный рубеж был прорван. 28-я армия продвинулась на 6–8 км и вышла к тыловому рубежу немецкой обороны. Однако командование Юго-Западного фронта так и не решилось ввести в прорыв танковые соединения. Оно также допустило просчет во времени, когда могут подойти немецкие оперативные резервы. Тимошенко полагал, что на это потребуется 5–6 дней, тогда как на самом деле они начали подходить к полю боя уже на второй день советского наступления.
Под Харьковом 430 немецким танкам и штурмовым орудиям противостояли 1100 советских танков, причем на равных с И-34 могли сражаться только 12 модифицированных немецких танков T-IY с длинноствольной 75-мм пушкой.
Еще 15 мая Тимошенко и Хрущев оптимистически оценивали перспективы наступления. В донесении, посланном ими в этот день в Ставку, утверждалось: «Для нас теперь совершенно ясно, что противник, сосредоточив в Харькове две полнокровные танковые дивизии, вероятно, готовился к наступлению в направлении Купянск и что нам удалось сорвать это наступление в процессе его подготовки. Очевидно также, что сейчас противник в районе Харькова не располагает такими силами, чтобы развернуть против нас встречное наступление…»
Южнее Харькова Тимошенко решил ввести в бой утром 16 мая два танковых корпуса. Группа Бобкина должна была силами 6-го кавалерийского корпуса овладеть Красноградом. Однако к назначенному сроку танковые корпуса не успели подойти к линии фронта. Немцы же в течение 16 мая завершили перегруппировку и приготовились к наступлению. В то же время они привели в порядок отошедшие части и уничтожили все мосты через реку Берестовая, которая в условиях весеннего паводка превратилась в серьезное противотанковое препятствие. Тем не менее к исходу 16 мая советские войска форсировали Берестовую. Но для того чтобы утром 17 мая ввести в прорыв танковые корпуса, требовалось восстановить мосты. Кавалеристам Бобкина не удалось овладеть Красноградом.
В целом к исходу 16 мая советские войска продвинулись на 20–35 км и вели бои на рубежах, выход к которым планировался уже на 3-й день операции. Танковые корпуса на северном участке уже втягивались в оборонительные бои, а на южном участке только готовились к вводу в прорыв. На юге предстояло прорвать тыловой оборонительный рубеж 6-й немецкой армии по реке Берестовая.
Но 17 мая немецкие 1-я танковая армия генерала Эвальда Клейста и 17-я армия генерала Германа Гота в рамках операции «Фредерикус I» начали атаку на барвенковской плацдарм с юга, прорвали слабый фронт 9-й армии и вышли на тылы обеих ударных группировок. Замысел операции состоял в том, чтобы встречными ударами 6-й армии от Балаклеи и армейской группы Клейста от Славянска и Краматорска в направлении на Изюм окружить и уничтожить советские войска на барвенковском выступе и захватить плацдарм в районе Изюма, который в дальнейшем должен был стать исходным рубежом для будущего генерального наступления. Этот удар стал полной неожиданностью как для командования юго-западного направления, так и для Ставки. Положение усугублялось тем, что войска левого фланга 9-й армии и фронтового резерва утром 17 мая находились в процессе перегруппировки. Часть войск двигалась в новые районы сосредоточения, и у них не было надежной связи со штабами армии и фронта.