В 8.15 пехота и танки прорыва, следуя за огневым валом, ворвались в передовые траншеи. В 13.00, как только пехота 5-й гвардейской армии Воронежского фронта вклинилась в главную полосу обороны противника примерно на 2 км, были введены в сражение 1-я и 5-я гвардейская танковые армии. Их задачей было завершить прорыв тактической зоны вражеской обороны и основными силами развивать успех в оперативной глубине. Они вводились на узком 5-км фронте.
Командующий 1-й танковой армией Катуков позднее вспоминал: «В памяти моей запечатлелось грандиозное движение советских танков, вошедших в прорыв. Мы шли по правой стороне пятикилометрового коридора двумя корпусными колоннами. Слева таким же порядком двигалась 5-я гвардейская [танковая] армия. Нас прикрывала с воздуха эскадрилья «яков». Между колоннами сохранялась зрительная связь. За всю войну еще никто из нас не видел такого скопления советских танков на столь узком участке фронта».
В первый же день наступления войск Воронежского фронта оборона противника на направлении главного удара была прорвана на всю тактическую глубину. Пехота 5-й и 6-й гвардейских армий продвинулась на 8-12 км. Танковые соединения Воронежского фронта были вынуждены допрорывать вторую полосу обороны противника вместе с пехотой. Ввод в бой, а не в чистый прорыв существенно снизил темп наступления танковых армий относительно плана операции. 1-я танковая армия продвинулась всего на 12 км. Намного лучше в первый день наступления действовала 5-я гв. танковая армия. Развивая успех, ее танки прорвались на глубину 20–25 км.
По схожему сценарию развивались события в полосе наступления Степного фронта. Бывший командующий оборонявшимся в районе Белгорода XI корпусом Эрхард Раус вспоминал: «Ко времени, когда вся легкая артиллерия противника и значительная часть тяжелых минометов открыли огонь, действие приобрело вид шабаша ведьм. Сосредоточенный на небольшой площади, этот дьявольский огонь уничтожил все оборонительные сооружения и укрытия на позиции. Вырванные с корнем и разломанные стволы деревьев покрывали землю, делая для выживших немецких солдат любые передвижения невозможными. Они могли лишь, вжавшись в воронки от разрывов, искать спасения от адского огня и ждать неизбежной атаки советской пехоты».
Несмотря на сильный удар артиллерии, войскам Степного фронта под Белгородом не удалось добиться решительного успеха. Тогда было решено использовать мощный авиационный кулак, оказавшийся в руках Конева. Поначалу советские атаки поддерживались практически беспрерывными действиями групп штурмовиков численностью от 12 до 24 машин. В период с 8.30 до 8.45 последовал мощный удар по узлам сопротивления противника. В нем участвовало уже около 100 Пе-2 под прикрытием 80 истребителей. В итоге по участку немецкой обороны площадью 7 кв. км было сброшено 110 тонн бомб с плотностью 17 тонн на 1 километр. Однако в течение нескольких часов гремели ожесточенные траншейные бои. Последним ударом, сломившим немецкую оборону, стал ввод в бой в 15.00 1-го механизированного корпуса. В итоге войска 53-й армии и правого фланга 69-й армии Степного фронта продвинулись за день на 7–8 км.
Первый день операции был для Воронежского и Степного фронтов достаточно успешным. Однако с точки зрения выполнения заложенных в план операции задач достижения первого дня, мягко говоря, оставляли желать лучшего. Вместо 40 км по плану 5-я гв. танковая армия прошла всего 20 км. 1-я танковая армия прошла еще меньше.
Тем не менее утром 4 августа Ватутин был еще полон оптимизма и уже думал о маневренном сражении в глубине немецкой обороны. В докладе Сталину он писал, что танковые армии Ротмистрова и три танковых корпуса из состава 27-й армии выйдут в район Богодухова, «составляя компактный танковый кулак, которым можно действовать в любом направлении и который отрежет все пути к Харькову с запада». Также Ватутин наметил ввод 47-й армии «в направлении Боромля, Тростянец… для дальнейшего наступления между р. Пселл и р. Ворскла». Ватутин хотел еще раз проэксплуатировать идею наступления параллельно основной ударной группировке. Также он вновь нацеливал свои войска для наступления в промежутке между реками, чтобы избежать их форсирования с боем.