Некоторая стабилизация обстановки как в самом Китае, так и по отношению к КВЖД наметилась в 1923–1924 годах. 31 мая 1924 года СССР и Китайская республика подписали «Соглашение об общих принципах для урегулирования вопросов между Союзом ССР и Китайской республикой», по которому между двумя странами восстанавливались дипломатические отношения и урегулировались вопросы о собственности СССР в Китае, в том числе и КВЖД. Дорога была определена как коммерческое предприятие, управляемое совместно СССР и Китаем. Правление дороги состояло из 10 человек, из которых было пять советских и пять китайских представителей. Во главе стоял председатель правления – дубань, назначаемый Китаем, и его помощник, представитель СССР. Такая же схема была применена во всех структурах управления железной дорогой. Прибыль от эксплуатации КВЖД делилась между СССР и Китаем поровну.
Период стабильности продолжался недолго. В Китае в то время продолжалась гражданская война. На юге страны с центром в Кантоне власть принадлежала правительству гоминьдана, возглавляемому Сунь Ятсеном, на севере – в Пекине – другому правительству, главную роль в котором играли военные губернаторы. После смерти Сунь Ятсена в марте 1925 года новый лидер гоминьдана Чан Кайши начал поход на север. Новый виток гражданской войны сказался и на КВЖД. В январе 1925 года китайские власти захватили Харбинский участок железной дороги, в этом же году произошел крупный конфликт по поводу увольнений русских белоэмигрантов (на этом настаивали советские представители). В 1926 году власти Китая потребовали от управления КВЖД бесплатной перевозки войск. В ответ на это советская сторона настаивала на уплате всех долгов. Когда же переговоры зашли в тупик, китайские власти упразднили профсоюзы, арестовали управляющего дорогой, силой оружия принудили служащих обеспечить перевозку войск.
22 декабря 1928 года китайцы неожиданно заняли телефонную станцию КВЖД. Это стало началом активной фазы по захвату дороги. 29 декабря был спущен флаг КВЖД (состоящий из китайского пятицветного наверху и советского красного внизу), вместо него над управлением дороги был вывешен флаг гоминьдана.
В феврале 1929 года советское правительство предложило представителям Чан Кайши провести переговоры и попытаться урегулировать разногласия. Но встреча в Мукдене советского генерального консула Бориса Мельникова с китайским военачальником Чжан Сюэляном окончилась взаимными обвинениями и ссорой. Ноты протеста советского правительства также не возымели действия, более того, дубань дороги Люй Чжун-хуан потребовал от генерального управляющего КВЖД Емшанова и его заместителя Эйсмонта передать управление представителям китайской стороны. После отказа выполнить это требование они были отстранены от службы и высланы в СССР. Последовали аресты и высылки других служащих КВЖД. Стремления мирно разрешить конфликт результата не дали.
Несмотря на то что КВЖД находилась, по сути, на территории Китая, действия правительства Чан Кайши были явно провокационными. Правда, и СССР действовал далеко не в интересах дороги – среди работников КВЖД было множество сотрудников разведки, которые работали отнюдь не на пользу правительству Чан Кайши. Так или иначе, обмен гневными нотами и протестами завершился в июле 1929 года. Реагируя на очередную советскую ноту, 16 июля китайская сторона прислала ответ, в котором говорилось о том, что Китай вынужден пойти на меры по поддержанию общественного порядка и действия властей северных провинций являются вынужденным, учитывая противоправные действия советской стороны. Кроме этого там отмечалось, что в СССР без предъявления обвинений были арестованы тысячи китайских эмигрантов и торговцев, а тысячи оставшихся на свободе китайцев поставлены в условия, в которых они не имеют возможности зарабатывать себе на жизнь. Китайское правительство было согласно отпустить советских служащих КВЖД, если Советский Союз освободит всех китайских граждан, арестованных по политическим мотивам, и если всем китайским гражданам, торговцам и организациям будет гарантирована соответствующая защита.
Уже на следующий день из Москвы пришел ответ, в котором нота правительства Чан Кайши признавалась неудовлетворительной. Так как конфликт зашел в тупик, СССР объявил о разрыве дипотношений с Китаем, отозвал своих дипломатических, консульских и торговых представителей и выслал из страны китайских официальных лиц. В тот же день, 17 июля, был остановлен транссибирский экспресс, следовавший по КВЖД. 19 июля китайское правительство опубликовало манифест, в котором объясняло другим странам свою позицию в конфликте. 20 июля правительство Чан Кайши объявило о разрыве дипломатических отношений с СССР.