Гражданская война его помотала: воевал и против колчаковцев под Бугульмой, участвовал в ликвидации Мелекесского восстания. Затем в составе 42-го этапного батальона 16-й армии Западного фронта воевал с белополяками. После боёв красноармеец Ротмистров направлен на Самарские советские инженерные курсы. Курсантом принял участие в подавлении Кронштадтского восстания. Был в группе, штурмовавшей форт № 6, которая первой ворвалась в крепость. Лично уничтожил пулемётную точку, за что награждён орденом Красного Знамени. Во время боя получил ранение.
Окончил 3-ю Смоленскую пехотную школу красных командиров и служил в Рязани — политрук 149-го и 51-го стрелковых полков.
В 1924 году после окончания Военной объединённой школы им. ВЦИК командовал стрелковым взводом, был помощником командира роты, командиром роты и заместителем командира батальона. В октябре 1928 года получил назначение на должность командира батареи 11-го артиллерийского полка Ленинградского военного округа.
В конце 1920-х годов Ротмистрова направили на учёбу в Военную академию им. М. В. Фрунзе. По успешном окончании полного курса учёбы он отбыл в Забайкалье, где получил должность начальника штаба 36-й Забайкальской стрелковой дивизии. Дивизия дислоцировалась в Чите.
В марте 1936 года он уже в штабе Отдельной Краснознамённой Дальневосточной армии на должности начальника 1-го отделения. В июне 1937 года назначен на должность командира 36-го Краснознамённого стрелкового полка им. М. В. Фрунзе 21-й дважды Краснознамённой Приморской стрелковой дивизии им. С. С. Каменева.
В октябре 1937 года Ротмистров был отозван в Москву и назначен преподавателем тактики Военной академии механизации и моторизации РККА им. И. В. Сталина. В это время в военных кругах и в высших властных структурах всё колыхалось и клокотало. Расстреливали комкоров, командармов 1-го и 2-го ранга и даже маршалов. Летели головы первых секретарей райкомов и обкомов. Армию зачищали от «бывших» и от «заговорщиков». В Москве открывалось много вакансий.
Под стебло НКВД едва не попал и Ротмистров. На партсобрании его исключили из ВКП(б): за связь с «врагами народа» Пашковским, Валиным, Деревцовым, Сангурским, другими, а также за самоустранение от руководства работой 2-го отделения 1-го отдела штаба ОКДВА и за то, что не перестроился в соответствии с решением февральского пленума ЦК ВКП(б). Обычно за исключением из партии следовало увольнение из кадров РККА, а затем арест. Но случилось чудо. Спустя некоторое время решением Комиссии партийного контроля при ЦК ВКП(б) Ротмистрова восстановили в партии; исключение заменили на строгий выговор.
В сущности, по зыбкому болоту над самой прорвой он проскочил совершенно счастливо. Подтверждение тому успешная защита диссертации на звание кандидата военных наук. Тема — танки в бою. Зимой 1940 года молодого учёного направили на север, где бушевали бои советско-финской войны. Цель: изучение возможностей танковых войск на опыте боевого их применения. Вначале он получил должность командира резервной группы Северо-Западного фронта, но сам настоял на отправке на передовую. Так он попал в 7-ю армию и принял танковый батальон 35-й легкотанковой бригады. Там-то и получил первый боевой опыт. Бригада участвовала в изнурительных боях по прорыву линии Маннергейма, затем под Выборгом. Ротмистров, имея уже достаточно высокое воинское звание подполковника, зарекомендовал себя грамотным и храбрым танковым командиром. Такие кадры в РККА, а в особенности в технических войсках, ценились. И его вскоре перевели на должность начальника штаба 35-й легкотанковой бригады. С войны вернулся с новеньким орденом Красной Звезды. Это был уже второй его боевой орден.
В декабре 1940 года подполковник Ротмистров получил очередное повышение: должность заместителя командира 5-й танковой дивизии 3-го механизированного корпуса. Корпус дислоцировался в Прибалтийском военном округе, в Алитусе и Каунасе Литовской ССР. За месяц до немецкого вторжения Ротмистров был переведён на должность начальника штаба 3-го механизированного корпуса.
Корпусом, созданным на базе 24-го стрелкового в июне 1940 года, командовал генерал-майор танковых войск А. В. Куркин. Ещё 18 июня он поднял части корпуса по тревоге и вывел в районы сосредоточения. Но командование начало выводить соединения и части из корпусного подчинения, к 22 июня оставив одну 2-ю танковую дивизию, на вооружении которой были лёгкие танки, и мотоциклетный полк. В итоге 3-й мехкорпус как боевая единица фактически перестал существовать ещё до начала приграничных боёв. На пятый день боёв управление корпуса и штаб 2-й танковой дивизии оказались в окружении. Начались бои на прорыв. Тяжёлое вооружение и почти вся материальная часть были потеряны. Только в августе остатки корпуса, штабные офицеры и бойцы вышли к Брянску. Позади были дороги Литвы и Белоруссии.