В течение всего дня шли упорные бои на подступах к Ростову, где части 343, 353-й и 31-й стрелковых дивизий, 230-й стрелковый полк НКВД и выдвинутая из резерва на северо-западную окраину Ростова 347-я стрелковая дивизия с переменным успехом отбивали наступление танков противника. Части 31-й стрелковой дивизии, оборонявшиеся на участке выс. 110, 2, опушка севернее Чкалова, Мясникован, (иск.) Ленинаван к 15 часам не выдержали танковых атак противника. В районе Каменоломень ему удалось прорваться в тыл нашим войскам и проникнуть в город. 31-я стрелковая дивизия начала отходить. К исходу дня 20 ноября положение на фронте 56-й армии ухудшилось, так как в результате прорыва танки противника проникли в районы Орджоникидзе и Красный Город-Сад, охватывая Ростов с северо-запада и северо-востока. К 17 часам 20 ноября батальон автоматчиков, поддержанный 30–40 танками, прорвался к вокзалу со стороны Нижне-Гниловской и Красного Города-Сада и стал распространяться к центру города, выходя в тыл частям 353, 31, 347-й стрелковых дивизий, к железнодорожному мосту и в южную часть города по направлению к Буденновскому проспекту и улице Энгельса.
В районах железнодорожного моста и Буденновской переправы завязались упорные бои. К исходу дня 20 ноября части 56-й отдельной армии находились в следующем положении: 347-я стрелковая дивизия без одного полка с 6-й танковой бригадой вела бой на северо-восточной окраине Ростова. Один полк 347-й стрелковой дивизии удерживал Аксайскую и Александровскую.
31-я стрелковая дивизия, точнее, ее разрозненные группы, с трудом оборонялись на северной окраине Ростова.
353-я стрелковая дивизия отходила на южный берег реки Дон и занимала опорные пункты в районе наплавного моста (Буденновская переправа) и железнодорожного моста. Командиру 353-й стрелковой дивизии было приказано, продвигаясь от центра города вдоль улицы Энгельса, уничтожить противника в районе вокзала, занять Красный Город-Сад и таким образом пробить путь для 343-й стрелковой дивизии, отходившей в направлении Нижне-Гниловская, Красный Город-Сад. Эта задача выполнена не была. Зато к 21 часу 20 ноября в результате атаки батальона 353-й стрелковой дивизии противник был выбит из района наплавного моста.
343-я стрелковая дивизия, отрезанная противником от переправ, в это время вела бой в районе Западный, Семерниково, Красный Город-Сад, находясь в полуокружении.
С наступлением темноты противник, зажигая отдельные здания, продолжал занимать новые районы города. К 24 часам уличные бои развернулись по всему городу, и особенно упорные в районе переправ Аксайская, о. Зеленый, а также в районе наплавного и железнодорожного мостов. Аксайская была занята немцами. Отдельные танки и пехота противника, проникшие в центр города, вели борьбу с защитниками баррикад, ведя по ним артиллерийский и минометный огонь. Противник обстреливал также все переправы через реку Дон.
Ранним утром 21 ноября маршал Шапошников имел следующий телеграфный разговор с командующим 56-й армией: