Тем не менее утром 4 августа Ватутин был еще полон оптимизма и уже думал о маневренном сражении в глубине немецкой обороны. В докладе Сталину он писал, что танковые армии Ротмистрова и три танковых корпуса из состава 27-й армии выйдут в район Богодухова, «составляя компактный танковый кулак, которым можно действовать в любом направлении и который отрежет все пути к Харькову с запада». Также Ватутин наметил ввод 47-й армии «в направлении Боромля, Тростянец… для дальнейшего наступления между р. Пселл и р. Ворскла». Ватутин хотел еще раз проэксплуатировать идею наступления параллельно основной ударной группировке. Также он вновь нацеливал свои войска для наступления в промежутке между реками, чтобы избежать их форсирования с боем.
Тем временем в наступлении возникли первые заминки. Командир 6-го танкового корпуса 1-й танковой армии имел приказ Катукова не ввязываться в бой за Томаровку, а блокировать этот укрепленный узел противника, обойти его и двигаться дальше. Однако, несмотря на четко поставленный приказ, генерал Гетман с утра 4 августа начал наступление на сильно укрепленную Томаровку. Катукову пришлось вмешиваться лично, и только во второй половине дня 6-й танковый корпус обошел Томаровку с востока. В качестве заслона против нее была выделена мотострелковая бригада. В результате безуспешных боев за Томаровку 6-й танковый корпус потерял 21 танк и 300 человек убитыми и ранеными. Также в боях за Томаровку принял участие 5-й гв. танковый корпус, находившийся в оперативном подчинении 1-й танковой армии. Потеряв 23 танка во фронтальных атаках на Томаровку и не добившись успеха, он получил задачу обойти немецкий опорный пункт с востока. Но дело было не только и не столько в этом. Танковая армия потеряла время, из трех ее корпусов какое-то время наступал только один – 3-й механизированный корпус генерала Кривошеина. 31-й танковый корпус оставался в резерве, его время пока еще не пришло.
Также на второй день боев изменилась обстановка в воздухе. В ходе Второй мировой войны авиация была, пожалуй, самым маневренным средством борьбы. Самолеты можно было перебросить для парирования неожиданно возникшего кризиса гораздо быстрее танковых, а тем более пехотных дивизий. Поэтому уже на второй день советского наступления активность немецкой авиации в воздухе над Белгородом резко возросла. Немецкий VIII авиакорпус выполнил за день более 1100 самолето-вылетов. При этом подавляющее большинство этих вылетов было выполнено ударными самолетами, т. е. одномоторными и двухмоторными бомбардировщиками, а также штурмовиками. Это сразу же почувствовали наступающие советские части. В отчете о боевых действиях 3-го механизированного корпуса по операции «Румянцев» было сказано: «Во второй день боя противник подтянул бомбардировочную авиацию, которая массированными налетами почти что беспрерывно воздействовала по колоннам, идущим за наступающими частями, расстраивая их боевые порядки и нанося большой урон в живой силе и технике».
Однако, несмотря на все возникшие сложности, 1-я танковая армия Катукова прошла за день 20 км. Ей в какой-то мере повезло. 3-й механизированный корпус сумел вклиниться между двумя немецкими резервными соединениями. 19-я танковая дивизия была подтянута к Томаровке, 6-я танковая дивизия – в район к востоку от Белгорода. Между этими двумя соединениями противника остался коридор, через который танки армии Катукова устремились на юг и юго-запад.
В куда худших условиях находилась 5-я гв. танковая армия. Преодолев позиции пехотных частей немцев, ее танковые корпуса столкнулись с 6-й танковой дивизией. Последняя заняла оборону на заранее оборудованных позициях в районе Орловки и Бессоновки.
Командующий 5-й гв. танковой армией Ротмистров вспоминал: «Множество высот, глубоких балок и речек, в том числе труднопроходимая речка Гостенка, сами по себе представляли серьезные препятствия для наших танков. Все подступы к ним противник успел заминировать, а на высотах окопать танки и противотанковую артиллерию с круговым обстрелом. 18-й танковый корпус генерала А.В. Егорова уперся в оборону противника и, не имея условий для маневра, вынужден был временно приостановить наступление».