После отхода 5-й гв. сд на восток немцы предсказуемо перешли в наступление на сам город. Щитом Калуги на какое-то время стал 765-й полк, лучше всех сохранившийся к тому моменту. Обороняющимся удается на какое-то время зацепиться за протекавший к западу от Калуги ручей. В ЖБД 17-й пд отмечается: «I батальон 55-го пп в 12:45 ведет тяжелый бой у ручья. Перед ним – ожесточенно обороняющийся на западной окраине города противника». Подошедший к ручью 21-й полк наталкивается на пулеметный и минометный обстрел, атака останавливается в ожидании подхода артиллерии (единственный, пожалуй, эффект от отскока назад по приказу генерала Захаркина). Однако с подтягиванием артиллерии положение 5-й гв. сд ухудшается. 21-й полк 17-й пд преодолевает ручей и занимает высоты восточнее Черносвитино, вслед за ним переправляется через ручей батальон 55-го полка с целью удара в тыл упорно оборонявшимся перед фронтом его полка советским подразделениям. Маневр со свертыванием обороны на подступах к Калуге с запада атакой III батальона 55-го пп немцам удается, в результате II батальон около 17:00, а I батальон около 18:00 начали атаку непосредственно на Калугу. Первой целью становится прорыв до железной дороги восточнее Калуги. Тем временем II батальон 21-го полка 17-й пд уже в 17:15 прорвался в центр города. I батальон 21-го пп вошел в Калугу со стороны вокзала.
Подготовка Калуги к обороне отсутствовала, ни баррикад, ни минных полей, ни подготовленных к обороне зданий не имелось. Последствия этого не заставили себя ждать. Наступая на восток, немецкий 55-й полк быстро проходит полгорода и выходит на линию южного моста (через Оку). Уже в 21.00 одним батальоном он выходит на восточную окраину Калуги. Также начались попытки немцев форсировать Оку и атаковать защитников Калуги с юга.
Полковник Миронов в своем отчете деликатно обходит вопрос владения Калугой днем 12 октября. В ЖБД штурмовавшей город 17-й пд начало атаки собственно на город относится к 17.00–18.00 берлинского времени, т. е. уже в темноте. Обстановка к концу дня 12 октября описывается в ЖБД 17-й пд следующим образом: «В Калуге вечером находятся 55-й пп (2-й батальон которого прорвался до железной дороги на восточной окраине города) и два батальона 21-го пп. Зачистка города еще не завершена». Т. е. город контролируется, но в нем еще остаются очаги сопротивления советских частей. Реакцию командарма-49 на фактическую потерю контроля над городом можно назвать предсказуемой, И.Г. Захаркин обвинил 5-ю гв. сд в отходе без приказа: «чем способствовали безнаказанному овладению пр-ком гор. Калуги». Соответственно потерянный город предлагалось вернуть контрударом. Приказ на контрудар (без детализации задач) подписывается И.Г. Захаркиным в 5.00 утра 13 октября, а П.В. Миронов расписывается в его получении от все того же капитана Дедова из ГШ в 7.25 13 октября. Командир 5-й гв. сд решает переломить ситуацию в свою пользу контрударом, отрезав ворвавшиеся в город подразделения противника и прижать их к Оке. Приказ готов к 9.50 утра 13 октября. Главной ударной силой назначался 765-й полк, который еще требовалось вывести из боя в районе Калуги, наименее боеспособный 630-й полк получил задачу прикрытия фланга.
Причем ночные бои за Калугу не прошли бесследно, как позднее указывалось в отчете временного командира дивизии, один батальон 765-го полка погиб в уличных боях. По немецким данным также прослеживается уничтожение советских подразделений в ходе боев за город. Так батальон 55-го полка 17-й пд глубокой ночью на восточной окраине Калуги наткнулся на советскую колонну, собиравшуюся покинуть город. В ЖБД 17-й пд относительно этого эпизода отмечается: «Несмотря на темноту и связанное с ней перемешивание подразделений батальону удалось полностью уничтожить колонну». Очевидно, жертвой немцев стал кто-то из подразделений 765-го полка. Одним словом, надежда на успех контрудара была призрачной.