Группировка войск противника перед Юго-Западным и Южным фронтами оценивалась штабами этих фронтов и оперативной группой Юго-Западного направления по данным, полученным к началу мая. Штаб Юго-Западного фронта считал, что против войск фронта продолжает действовать 6-я немецкая армия в составе двенадцати пехотных и одной танковой дивизий, усиленных десятью артиллерийскими полками среднего калибра и двумя полками большой мощности. Всего, таким образом, войска Юго-Западного фронта, по расчетам штаба, в начале наступления могли встретить сопротивление примерно 105 пехотных батальонов при 650–700 орудиях калибра 75–210 мм и 350–400 танков.
Штаб Южного фронта в оценке противника также исходил из обстановки, сложившейся к началу мая. Штаб считал, что в первой линии против войск Южного фронта действуют двадцать четыре пехотные, три танковые, две моторизованные дивизии противника с 200 танками. Штаб Южного фронта предполагал, что немецкое командование может иметь в оперативном резерве шесть-семь пехотных, одну танковую, одну моторизованную дивизию (250–300 танков), причем руководство фронта было уверено, что основная группировка немцев действовала на ростовском и ворошиловградском направлениях. Таким образом, штаб фронта считал, что перед войсками Южного фронта действует немецкая группировка в составе тридцати одной пехотной, четырех танковых и трех моторизованных дивизий с общим числом 400 танков.
Однако к 11 мая эти выводы штабов Юго-Западного и Южного фронтов не соответствовали действительности. Вследствие несоблюдения нашими штабами скрытности управления и плохой оперативной маскировки при сосредоточении войск к намеченным участкам прорыва немецкое командование разгадало замыслы нашего командования и спешно провело ряд мероприятий по укреплению обороны на угрожаемых направлениях. Для этого были использованы наличные войска 6-й и 17-й немецких армий и резервы, прибывающие по плану подготовки майского наступления.
В результате перегруппировки, в основном произведенной противником с 1 по 11 мая, плотность немецких войск в главной полосе обороны на участках ударных группировок Юго-Западного фронта и на всем фронте перед 57-й и 9-й армиями Южного фронта была резко увеличена, а в оперативной глубине расположились сильные резервы.
Фактически 11 мая против Юго-Западного фронта действовали 6-я полевая немецкая армия в составе 17, 51, 8-го и 11-го армейских корпусов и 4-я пехотная дивизия 6-го армейского корпуса румын, входившего в состав 17-й армии. На левом фланге 6-й немецкой армии оборонялся 29-й корпус — 57, 168-я и 75-я пехотные дивизии.
17-й армейский корпус своими двумя (79-й и 294-й) пехотными дивизиями оборонял участок Маслова Пристань, Песчаное. Действовавшие ранее в этом районе части 3-й танковой дивизии были выведены немцами в оперативный резерв и к 11 мая сосредоточились в Харькове. 51-й армейский корпус (297-я и 44-я пехотные дивизии) главными силами оборонял чугуевский плацдарм на фронте Печенеги, Балаклея, Бишкин.
На красноградском направлении у немцев действовал 8-й армейский корпус в составе 62-й пехотой и 454-й охранной дивизий вермахта, занимавших оборону против войск 6-й армии Юго-Западного фронта. Левый фланг 8 ак прикрывала 108-я легкопехотная венгерская дивизия. 113-я пехотная дивизия немцев была выведена в оперативный резерв командующего 5-й немецкой армией. Части 6-го армейского корпуса румын (4-я и 20-я румынские пехотные дивизии) занимали второстепенный участок обороны в районе ст. Лозовая.
К 11 мая в Харькове полностью сосредоточились 3-я и 23-я танковые дивизии и части 71-й пехотной дивизии. 211-й полк этой дивизии был выдвинут на усиление 294-й пехотной дивизии и два полка направлялись в район Балаклеи.
На подходе к Харькову находились передовые части 305-й пехотной дивизии немцев, перебрасываемой из Западной Европы. Таким образом, перед Юго-Западным фронтом к 11 мая действовали до пятнадцати пехотных дивизий и две танковые дивизии вместо предполагавшихся штабом Юго-Западного фронта двенадцати пехотных и одной танковой дивизий. Все эти семнадцать дивизий могли быть использованы противником в первые 3–4 дня нашего наступления.
Перед Южным фронтом германское командование увеличило свою группировку на шесть дивизий. Все части, занимавшие оборону против правого фланга фронта, к 12 мая вошли в состав 17-й полевой и 1-й танковых армий, объединенных в группу «Клейста» (по фамилии командующего 1 ТА генерала Клейста), и занимали следующее положение.