Особое положение занимал в обороне противника Харьков, который расценивался Гитлером как «восточные ворота» Украины. И это понятно: Харьков — крупнейший железнодорожный узел на путях из Москвы в Донбасс, Крым, Кавказ, важнейший узел шоссейных дорог и авиалиний, город машиностроения, металлообработки, химической, легкой и пищевой промышленности. Гитлер требовал от своих генералов удержать Харьков любой ценой.
Сильно пересеченная местность в сочетании с прочной обороной врага затрудняла наступательные действия советских войск. Для успешного выполнения поставленных задач Конев решил максимально использовать артиллерию. На направлениях главных ударов 5-й гвардейской и 53-й армий, действовавших в главной полосе основного удара, плотность артиллерийского насыщения доходила до 230 стволов на 1 километр фронта. По тем временам это была огромная плотность.
На рассвете 3 августа мощной артиллерийской и авиационной подготовкой началось контрнаступление на белгородско-харьковском направлении. На передний край обороны врага обрушилась лавина снарядов. Это создало такой огневой удар, который ошеломил противника. По свидетельству пленных, немало уцелевших в этом сражении немецких солдат лишились рассудка. Вся система вражеского огня была подавлена. Неподавленные огневые точки были уничтожены повторным артиллерийским налетом и авиацией 5-й воздушной армии. В первой половине дня оборона врага была прорвана.
5 августа войска Степного фронта штурмом овладели Белгородом. В этот же день после напряженных боев был освобожден Орел. Москва отметила эти победы артиллерийским салютом. Это был первый артиллерийский салют в Великой Отечественной войне в честь боевой доблести советских войск. С тех пор салюты в Москве в ознаменование побед Красной Армии стали славной традицией.
К 11 августа войска Степного фронта, преодолевая ожесточенное сопротивление противника, подошли к внешнему обводу харьковских оборонительных линий. Для обороны Харькова немецкое командование сосредоточило сильную группировку в составе восьми пехотных, двух танковых дивизий, артиллерийских частей, многих отрядов CG, полиции и других подразделений, сосредоточив их в основном на северном и восточном фасах внешнего оборонительного обвода при значительном эшелонировании войск в глубину.
Оборона противника состояла из системы дзотов с перекрытием в два-три наката и железобетонных сооружений. Все каменные строения на окраинах города были превращены в доты, нижние этажи домов использовались в качестве огневых позиций для артиллерии, верхние занимали автоматчики, пулеметчики и гранатометчики. Въезды в город и улицы на окраинах были заминированы и перекрыты баррикадами. Внутренние кварталы города также были подготовлены к обороне и борьбе с танками.
Со свойственной ему тщательностью начал готовиться Конев к штурму Харькова. Он выезжал на КП командармов, изучал подступы к городу. В рекогносцировках Ивана Степановича сопровождали ведущие специалисты родов войск — артиллеристы, танкисты, летчики, а также командующие армиями, в полосах которых он изучал обстановку. Много работал Конев и над картой у себя в штабе, располагавшемся в деревеньке Малые Проходы. Непритязательный в быту, командующий фронтом занимал обыкновенную украинскую хату. Рабочим кабинетом служила чисто выбеленная комната. Вот как описывает ее Борис Полевой, побывавший в те дни у Конева: «Все хозяйское оставалось на месте. Иконы в углу, обрамленные, по здешнему обычаю, богато вышитыми рушниками, пожелтевшие венчальные свечи возле них и даже пучок вербы, посиневший от времени. Выгоревшие базарные олеографии с лебедями и беседками и Иисус Христос, писаный красавец, шагающий по водам. Фотографии хозяев в черных рамках, рассыпанные по белейшим стенам. Все это как бы подчеркивало временность этого бивачного жилья, которое ничем не отражало характера и вкуса человека, в нем теперь обитающего.
Своего у командующего было здесь разве что раскладной походный стол, будто скатертью, накрытый картой, исчерканной синими и красными овалами и стрелами. Два таких же походных стула. Телефоны — один в деревянном футляре, полевой, другой — белый, блещущий полировкой и никелем, — высокочастотный, по которому командующий связывался с командармами и со Ставкой. Тут же, с правой стороны, остро отточенные карандаши, торчащие из стакана, лупа, большие роговые очки оглобельками вверх. На стене деревянная, тоже складная, полка, на которой я успел различить корешки военных и литературных журналов. Томик генерала Драгомирова о Суворове. Книга Карла Клаузевица «О войне». Я взял ее и стал листать, чтобы не мешать разговору командующего по телефону. Книга оказалась читанной. На полях пометки, некоторые фразы подчеркнуты.
Дверь слева вела в личную комнату генерала. Собственно, это была не дверь, а проем. Жилье обставлено с солдатским аскетизмом. Узенькая койка, застланная шерстяным шершавым одеялом, обеденный столик, покрытый накрахмаленной скатертью, радиоприемник — единственная дорогая здесь вещь».