Неожиданным наступление стало не только для штаба группы армий «Юг», но и для немецких солдат в передовых окопах. Артиллерийская подготовка открылась мощным пятиминутным налетом всех огневых средств по переднему краю немецкой обороны. Налет продолжался с 5.00 до 5.05 3 августа, т. е. еще до полного рассвета. Поэтому он оказался для немцев неожиданным и застал их врасплох. С 5.05 до 5.35 в ожидании полного рассвета была взята пауза. После этого орудия загрохотали вновь. Артиллерийская подготовка продолжалась три часа.
В финале артиллерийской подготовки немцев ждал еще один сюрприз. С 7.55 до 8.15 все орудия и минометы вели огонь нарастающими до предела темпами по передовым траншеям противника. Одновременно, также в 7.55, советская пехота начала сближение и выход к первым траншеям. По сигналам пехотных подразделений огонь орудий тяжелых калибров постепенно переносился («сползал») с переднего края в глубину немецкой обороны.
Артиллерийская подготовка шла в тесном взаимодействии с авиацией, которая группами по 20–30 самолетов непрерывно бомбила и обстреливала артиллерийско-пулеметным огнем боевые порядки противника, а также места расположения его резервов и артиллерии.
В 8.15 пехота и танки прорыва, следуя за огневым валом, ворвались в передовые траншеи. В 13.00, как только пехота 5-й гвардейской армии Воронежского фронта вклинилась в главную полосу обороны противника примерно на 2 км, были введены в сражение 1-я и 5-я гвардейская танковые армии. Их задачей было завершить прорыв тактической зоны вражеской обороны и основными силами развивать успех в оперативной глубине. Они вводились на узком 5-км фронте.
Командующий 1-й танковой армией Катуков позднее вспоминал: «В памяти моей запечатлелось грандиозное движение советских танков, вошедших в прорыв. Мы шли по правой стороне пятикилометрового коридора двумя корпусными колоннами. Слева таким же порядком двигалась 5-я гвардейская [танковая] армия. Нас прикрывала с воздуха эскадрилья «яков». Между колоннами сохранялась зрительная связь. За всю войну еще никто из нас не видел такого скопления советских танков на столь узком участке фронта».
В первый же день наступления войск Воронежского фронта оборона противника на направлении главного удара была прорвана на всю тактическую глубину. Пехота 5-й и 6-й гвардейских армий продвинулась на 8-12 км. Танковые соединения Воронежского фронта были вынуждены допрорывать вторую полосу обороны противника вместе с пехотой. Ввод в бой, а не в чистый прорыв существенно снизил темп наступления танковых армий относительно плана операции. 1-я танковая армия продвинулась всего на 12 км. Намного лучше в первый день наступления действовала 5-я гв. танковая армия. Развивая успех, ее танки прорвались на глубину 20–25 км.
По схожему сценарию развивались события в полосе наступления Степного фронта. Бывший командующий оборонявшимся в районе Белгорода XI корпусом Эрхард Раус вспоминал: «Ко времени, когда вся легкая артиллерия противника и значительная часть тяжелых минометов открыли огонь, действие приобрело вид шабаша ведьм. Сосредоточенный на небольшой площади, этот дьявольский огонь уничтожил все оборонительные сооружения и укрытия на позиции. Вырванные с корнем и разломанные стволы деревьев покрывали землю, делая для выживших немецких солдат любые передвижения невозможными. Они могли лишь, вжавшись в воронки от разрывов, искать спасения от адского огня и ждать неизбежной атаки советской пехоты».
Несмотря на сильный удар артиллерии, войскам Степного фронта под Белгородом не удалось добиться решительного успеха. Тогда было решено использовать мощный авиационный кулак, оказавшийся в руках Конева. Поначалу советские атаки поддерживались практически беспрерывными действиями групп штурмовиков численностью от 12 до 24 машин. В период с 8.30 до 8.45 последовал мощный удар по узлам сопротивления противника. В нем участвовало уже около 100 Пе-2 под прикрытием 80 истребителей. В итоге по участку немецкой обороны площадью 7 кв. км было сброшено 110 тонн бомб с плотностью 17 тонн на 1 километр. Однако в течение нескольких часов гремели ожесточенные траншейные бои. Последним ударом, сломившим немецкую оборону, стал ввод в бой в 15.00 1-го механизированного корпуса. В итоге войска 53-й армии и правого фланга 69-й армии Степного фронта продвинулись за день на 7–8 км.
Первый день операции был для Воронежского и Степного фронтов достаточно успешным. Однако с точки зрения выполнения заложенных в план операции задач достижения первого дня, мягко говоря, оставляли желать лучшего. Вместо 40 км по плану 5-я гв. танковая армия прошла всего 20 км. 1-я танковая армия прошла еще меньше.