Едва окончив КУВНАС, он был направлен на службу в Маньчжурию на Китайско-восточную железную дорогу (КВЖД). Обстановка там складывалась непростая. Китайцы стремились установить контроль над этой транспортной веткой и прилегающей к ней территорией. При этом они совершали многократные провокации на границе и в отношении генерального консульства СССР. Назревал вооруженный конфликт. Советское руководство в начале августа создало Особую Дальневосточную армию (ОДВА) и отдало приказ подтягивать к государственной границе войска. В состав этой группировки входила и 5-я отдельная Кубанская кавалерийская бригада под командованием Рокоссовского. В то же время китайцы также начали готовить свою армию к боевым действия и вооружать отряды бывших белогвардейцев, пребывавших на их территории. Вскоре в зоне конфликта развернулись настоящие боевые действия. Одной из главных целей советских войск была станция Чжалайнор, на которой китайцы надежно закрепились. Взятие этого укрепленного рубежа было поручено в том числе и 5-й кавбригаде. Взаимодействуя с пехотинцами и танковыми частями, она нанесла противнику тяжелое поражение, взяв под контроль станцию и захватив немало пленных.
За успешное выполнение боевой задачи Рокоссовский был удостоен очередной награды – своего 3-го ордена Красного Знамени. К тому же в январе 1930 года его перевели в Белорусский военный округ на должность командира 7-й Самарской им. Английского пролетариата кавалерийской дивизии. Это было очередное признание полководческих достоинств Рокоссовского.
Вместе с семьей он обосновался в Минске. Высокая должность вынуждала его все время проводить на службе. Такое большое воинское соединение, как дивизия, требовало от его командира регулярных поездок в войска, проведения учений, смотров, тактических игр. Открытость Рокоссовского, его расположенность к людям и уважительное отношение к подчиненным позволили ему быстро завоевать уважение среди своих коллег. Хорошие деловые отношения установились у него со многими командирами, с которыми впоследствии ему пришлось сражаться на фронтах Великой Отечественной войны. Так, командиром кавалерийского корпуса, в состав которого входила дивизия Рокоссовского, был будущий нарком обороны Семен Тимошенко. А одним из полков в дивизии Рокоссовского командовал Георгий Жуков. Впрочем, долго прослужить в Белоруссии ему не довелось. В 1932 году его вернули в Сибирский военный округ. Отныне он стал командовать там 15-й кавалерийской дивизией.
Почти на три года Рокоссовский вернулся в Сибирь. Близость Китая и Японии требовала постоянно поддерживать высокую боеготовность войск. Поэтому времени на отдых у комдива не было. Изо дня в день он трудился, стремясь добиться того, чтобы его дивизия стала лучшей в округе. Дел было много, однако к тому времени опыт руководства у него уже был весьма солидный. Поэтому войска Рокоссовского не раз отличались во время крупных учений, которые в то время регулярно проходили в округе.
Единственными серьезными боевыми действиями, в которых принимал участие Рокоссовский в 30-е годы, был конфликт на КВЖД. После того в его карьере наступил период сравнительно спокойной работы. Больше не раздавались сигналы боевой тревоги; не нужно было изнурять себя и свои войска тяжелыми переходами, стремительными атаками и поспешными отступлениями; не приходилось вести учет убитых и раненых, уничтоженных лошадей и разбитой техники. Казалось, для Рокоссовского открывается огромный простор для повышения своего мастерства управления войсками. Возможно, теперь ему удастся поступить в Военную академию и еще глубже овладеть теорией боевого искусства. Однако вместо всего этого судьба готовила ему тяжелые испытания…
Жизнь военного – это постоянные переезды. Он должен быть постоянно готов к тому, чтобы в любой момент отправиться к месту нового назначения. И никто не гарантирует того, что оно будет лучше, чем предыдущее. Нередко бывает даже наоборот. Кроме этого, тяжесть профессии военнослужащего нередко ложится и на плечи его семьи. Жены, вынужденные менять работу, дети, которым приходится оставлять привычную школу. Новые адреса, квартиры, обстановка и атмосфера захолустных военных городков…