Ставка требовала немедленно продолжать наступление, но для его успеха требовалась перегруппировка сил и пополнение личного состава и материальной части. Выслушав доводы командующих фронтами, Ставка перенесла срок дальнейшего наступления на 8 дней.
Всего к началу второй фазы Белгородско-Харьковской наступательной операции в войсках Воронежского и Степного фронтов насчитывалось 50 стрелковых дивизий, 8 танковых корпусов, 3 мехкорпуса и, кроме того, 33 танковых бригады, несколько отдельных танковых полков и самоходно-артиллерийских полков. Несмотря на проведенную перегруппировку и пополнение, танковые и артиллерийские подразделения не были укомплектованы полностью. Несколько лучшим положение было у Воронежского фронта, в полосе которого ожидались более мощные контрудары немецких войск. Так, 1 — я танковая армия к началу контрнаступления имела танков Т-34 — 412, Т-70 — 108, Т-60 — 29 (всего — 549). 5-я гв. танковая армия в то же время насчитывала 445 танков всех типов и 64 бронеавтомобиля.
Наступление началось на рассвете 3 августа мощной артподготовкой. В 8 утра в наступление пошли пехота и танки прорыва. Огонь немецкой артиллерии был беспорядочным. В воздухе безраздельно господствовала наша авиация. К 10 часам передовые части 1-й танковой армии переправились через реку Ворксла. В первой половине дня пехотные части продвинулись на 5…6 км, и командующий фронтом генерал Ватутин ввел в бой главные силы 1-й и 5-й гв. танковых армий. К исходу дня части 1-й танковой армии продвинулись в глубину немецкой обороны на 12 км и подошли к Томаровке. Здесь они встретили мощную противотанковую оборону и были временно остановлены. Соединения 5-й гв. танковой армии продвинулись значительно дальше — до 26 км и вышли в район Добрая воля.
В более сложной обстановке наступали севернее Белгорода части Степного фронта. Не имея таких средств усиления, как Воронежский, его наступление развивалось медленнее, и к концу дня, даже после ввода в бой танков 1-го мехкорпуса, части Степного фронта продвинулись всего на 7…8 км.
4 и 5 августа основные усилия Воронежского и Степного фронтов были направлены на ликвидацию томаровского и белгородского узлов сопротивления. Утром 5 августа части 6-й гв. армии завязали бои за Томаровку и к вечеру очистили ее от немецких войск. Противник активно контратаковал группами по 20–40 танков при поддержке штурмовых орудий и мотопехоты, но безуспешно, К утру 6 августа томаровский узел сопротивления был очищен от немецких войск. Подвижная группа Воронежского фронта в это время продвинулась вглубь обороны противника на 30–50 км. создав обороняющимся войскам угрозу окружения.
5 августа войска Воронежского фронта завязали бои за Белгород. Войска 69-й армии вошли в город с севера. Форсировав Северный Донец, к восточным окраинам вышли войска 7-й гв. армии, а с запада Бел-юрод обходили подвижные соединения 1-го мехкорпуса. К 18 часам город был полностью очищен от немецких войск, было захвачено большое количество брошенной немецкой техники и боеприпасов.
Освобождение Белгорода и уничтожение томаровского узла сопротивления позволило наступавшим подвижным группам Воронежского фронта в составе 1-й и 5-й гв. танковых армий выйти на оперативный простор. К исходу третьего дня наступления стало ясно, что темп наступления советских войск на Южном фасе значительно выше, чем под Орлом. Но для успешного наступления Степного фронта ему не хватало танков. К концу дня по просьбе командования Степного фронта и представителя Ставки фронту было выделено для пополнения 35 тыс. человек, 200 танков Т-34, 100 танков Т-70 и 35 — КВ-lc. Кроме того, фронт был усилен двумя инженерными бригадами и четырьмя полками самоходной артиллерии