Что касается противника, то его группировка на белгородско-харьковском направлении состояла из 15 пехотных дивизий (88, 75, 323, 68, 57, 255, 332, 167, 168, 198, 106, 320, 282, 39, 161-я пд) и четырех танковых (6, 7, 11, 19-я тд), входивших в состав 4 ТА и армейской группы «Кемпф». Немецкие пехотные дивизии, находившиеся в центре боевых порядков, участвовали ранее в операции «Цитадель», в ходе которой понесли потери и не успели получить пополнение в необходимых количествах, поэтому боевой состав их пехотных батальонов находился на уровне 300–400 человек, что делало их ограниченно боеспособными. Танковые дивизии, получив пополнение личным составом и отремонтировав поврежденные ранее танки, находились в хорошем состоянии и были готовы к любым как наступательным, так и оборонительным действиям, хотя боеспособных танков они имели не так уж и много. На вечер 2 августа 1943 г. немецкие войска располагали следующим количеством боеспособных танков и штурмовых орудий в составе соединений и частей 4 ТА и АГ «Кемпф»:
6-я тд: 1 Pz.II, 6 Pz.III lg, 4 Pz.III 7,5, 3 Pz.III Flam, 11 Pz.IV lg, 3 Bef Pz;
7-я тд: 7 Pz.III kz, 35 Pz.III lg, 22 Pz.IV lg;
11-я тд: 7 Pz.III kz, 27 Pz.III lg, 1 Pz.IV lg, 23 Pz.IV lg, 24 StuG;
19-я тд: 1 Pz.III kz, 16 Pz.III lg, 9 Pz.IV lg, 19 Pz.IV lg, 4 Bef. Pz;
10-я тбр: 21 Pz V;
StuG Abt.905: 21 StuG, StuG Abt 228: 27 StuG, StuG Bttr 393: 6 StuG;
s.Pz.Abt. 503: 8 Pz.VI.
Итого: 306 боеспособных танков и штурмовых орудий.
После отвода своих войск из района вклинения на исходные позиции противник перешел к обороне на хорошо подготовленных рубежах. Главная полоса обороны глубиной 6–8 км состояла из двух позиций, имевших ряд опорных пунктов, узлов сопротивления, соединенных траншеями полного профиля. Вторая оборонительная полоса проходила в 2–3 км от переднего края и имела окопы, дзоты и разного рода искусственные препятствия. Общая глубина тактической зоны обороны составляла 15–18 км. Населенные пункты были подготовлены к круговой обороне. Особое значение имели заблаговременно оборудованные крупные узлы сопротивления в глубине обороны: Томаровский — в 10 км от передовой, Борисовский — в 20 км от передовой. В глубине обороны, в 50–60 км от переднего края, через Богодухов, Злочев, Казачья Лопань, Журавлевка, Веселое проходил оперативный тыловой оборонительный рубеж. Кроме того, непосредственно у Харькова противник создал два мощных кольцевых оборонительных рубежа и соединил их между собой рядом отсечных позиций. Таким образом, оборона противника на белгородско-харьковском направлении была заблаговременно подготовлена и хорошо оборудована в инженерном отношении. А войска противника, заняв оборонительные рубежи, были готовы к упорной обороне.
К исходу 2 августа войска Воронежского и Степного фронтов закончили подготовительные мероприятия и согласно плану операции заняли исходное положение для наступления. Для немцев оно было в значительной степени неожиданным. Командующий группой армий «Юг» Манштейн впоследствии писал:
«Мы надеялись в ходе операции «Цитадель» разбить противника настолько, чтобы рассчитывать на этом фронте на определенную передышку. Однако эта надежда оказалась потом роковой для развития обстановки на северном фланге группы, так как противник начал наступление раньше, чем мы ожидали».
Неожиданным наступление стало не только для штаба группы армий «Юг», но и для немецких солдат в передовых окопах. Артиллерийская подготовка открылась мощным пятиминутным налетом всех огневых средств по переднему краю немецкой обороны. Налет продолжался с 5.00 до 5.05 3 августа, т. е. еще до полного рассвета. Поэтому он оказался для немцев неожиданным и застал их врасплох. С 5.05 до 5.35 в ожидании полного рассвета была взята пауза. После этого орудия загрохотали вновь. Артиллерийская подготовка продолжалась три часа.
В финале артиллерийской подготовки немцев ждал еще один сюрприз. С 7.55 до 8.15 все орудия и минометы вели огонь нарастающими до предела темпами по передовым траншеям противника. Одновременно, также в 7.55, советская пехота начала сближение и выход к первым траншеям. По сигналам пехотных подразделений огонь орудий тяжелых калибров постепенно переносился («сползал») с переднего края в глубину немецкой обороны.
Артиллерийская подготовка шла в тесном взаимодействии с авиацией, которая группами по 20–30 самолетов непрерывно бомбила и обстреливала артиллерийско-пулеметным огнем боевые порядки противника, а также места расположения его резервов и артиллерии.
В 8.15 пехота и танки прорыва, следуя за огневым валом, ворвались в передовые траншеи. В 13.00, как только пехота 5-й гвардейской армии Воронежского фронта вклинилась в главную полосу обороны противника примерно на 2 км, были введены в сражение 1-я и 5-я гвардейская танковые армии. Их задачей было завершить прорыв тактической зоны вражеской обороны и основными силами развивать успех в оперативной глубине. Они вводились на узком 5-км фронте.