21 апреля, в страстную субботу, отряд Дроздовского подошел к Ростову; и 2 колоннами начал атаку с вокзала. Весь день шел упорный бой с превосходящими силами противника. Количество оборонявших Ростов большевиков достигало 12 тысяч при 6 батареях; помимо организованных частей красной гвардии, латышских стрелков и матросов Гвардейского экипажа, большевикам много помогли рабочие из предместья Ростова — Темерника, стрелявшие на улицах из окон домов, также «Колхида» обстреливала наступавших с реки. Приходилось брать улицу за улицей и нести большие потери.
Подошедшие со стороны Таганрога немцы, видя тяжелое положение отряда, прислали своего ротмистра с предложением помощи Дроздовскому, который коротко ответил: «Не надо, справимся сами».
К вечеру того же дня Ростов и часть Нахичевани были заняты отрядом, но 22-го утром с севера подошли новые подкрепления большевиков, и Дроздовский, видя полную невозможность вести дальнейший бой, не желая принципиально обращаться за помощью к немцам, приказал отступать. Но вывод из города увлекшейся борьбой пехоты, на которой был сосредоточен весь огонь большевистской артиллерии, оказался делом нелегким, а гибель ее означала бы и гибель всего отряда и той идеи помощи добровольческой армии, с которой шли они из Румынии. Тогда Дроздовский дает следующее распоряжение: указав открытый холм, он приказал, чтобы кавалерия медленно передвигалась по холму редкой цепью (через 30 шагов всадник). Такой приказ показался окружавшим Дроздовского безумием, послышались возражения, некоторые предположили, что от потрясений он сошел с ума, но властный голос его потребовал: «Исполнить немедленно мое приказание без рассуждений». Как и рассчитал Дроздовский, большевики перевели весь артиллерийский огонь на смело и открыто передвигавшуюся конницу, чем дали возможность отойти пехоте, ценой незначительных жертв в кавалерии. Пехота, а следовательно, и отряд были спасены.
Дроздовцы отступали в район станции Чалтырь и короткими ударами беспокоили большевиков. В боях под Ростовом они понесли тяжелые потери: 82 бойца выбыло из строя, между прочим, начальник штаба отряда, полковник Войналович. Его беззаветная отвага служила примером для всех, она влекла его в самые опасные места, нередко его храбростью спасалось положение. Для Дроздовского эта потеря была крайне тяжела, он писал тогда: «Я понес великую утрату — убит мой ближайший помощник, начальник штаба, может быть, единственный человек, который мог меня заменить».