С каждым часом положение харьковской группировки врага становилось все более грозным. Полная бесперспективность дальнейшей борьбы за город, опасность окружения войск были столь очевидны, что единственным шансом спасения от полного истребления стало их быстрое отступление на юг. К этому времени у гитлеровского руководства уже окончательно исчезла и всякая надежда на успешное развитие контрудара ахтырской группировки на Богодухов. Во второй половине дня 22 августа немецко-фашистское командование было вынуждено начать отход из района Харькова. Оценивая это решение, командующий группой армий «Юг» Манштейн в работе «Утерянные победы» писал: «Угрожающе надвигалась опасность окружения армии Кемпфа в районе Харькова… Командование группы не собиралось в бою за Харьков жертвовать армией. Харьков был сдан для того, чтобы высвободить силы для обоих угрожаемых флангов армии Кемпфа и предотвратить ее окружение».
Чтобы не дать возможности противнику вывести из-под ударов советских соединений войска, оборонявшие Харьков, командующий войсками Степного фронта отдал приказ о ночном штурме города.
Вспоминает начальник штаба фронта генерал-лейтенант М.В. Захаров:
«Для нас, участников боев за Харьков, на всю жизнь останется памятной ночь на 23 августа 1943 года. Перед нами открылась панорама ночного города, освещенного вспышками, взрывами, пожарами и сотрясаемого страшным орудийным гулом. Огромные массы войск были сосредоточены на сравнительно небольшой территории, прилегающей к Харькову. Воины нашего фронта прекрасно понимали, что начинается решающий этап победоносного наступления на харьковском направлении — штурм города. Мы знали, что в городе томятся наши братья — советские люди, перенесшие все страдания гитлеровской оккупации».
В боях на улицах Харькова участвовали соединения 53-й, 69-й и 7-й гвардейской армий. С запада в город ворвались 89-я гвардейская Белгородская (командир — генерал-майор М.П. Серюгин) и 107-я стрелковая (командир — полковник П.М. Бежко) дивизии 53-й армии.
С севера и северо-востока противника теснили войска 69-й и 7-й гвардейской армий. Соединения 7-й гвардейской армии начали наступление действиями передовых отрядов, а в 2 часа ночи 23 августа армия перешла в общее наступление. Одними из первых ворвались в город подразделения 1243-го стрелкового полка 375-й стрелковой дивизии (командир — полковник П.Д. Говоруненко) 69-й армии. Вскоре за ними вступили в город и другие части этой дивизии. Противник, отводя главные силы на заранее подготовленный рубеж, прикрывал отход сильными арьергардами, поддерживая их артиллерийским и минометным огнем.
Фашистские головорезы в эти последние часы пребывания в Харькове произвели многочисленные поджоги в городе, и он одновременно запылал во многих местах. Сотни промышленных и гражданских сооружений были взорваны гитлеровцами. В ночной темноте, освещенной заревом многочисленных пожаров, вспышками взрывов, советские воины вели последний бой за Харьков. Проявляя мужество и отвагу, они обходили укрепленные позиции противника, просачивались в его оборону и смело атаковали вражеские гарнизоны с тыла. Ни мины, ни проволочные заграждения, ни многочисленные пожары и завалы на улицах, ни другие препятствия не могли остановить советских воинов. Уже в ходе боев инженерные войска приступили к разминированию города.
К 12 часам 23 августа Харьков был полностью очищен от немецко-фашистских войск. Жители города восторженно встречали воинов-освободителей. Большая часть немецкой группировки, оборонявшей город, была уничтожена. Остатки ее отступали, преследуемые советскими войсками, за реки Мерефа и Мжа. Противником была брошена масса боевой техники.