В марте 1912-го Сунь отходит от политики; он довольствуется положением заместителя президента. Однако соглашение между Сунь Ятсеном и генералом Юан-Ши-Каем оказалось недолговечным. Сначала Сунь ищет компромисса с Юан-Ши-Каем, но вскоре ему пришлось уступить место новому лидеру. Сунь отходит от власти и уезжает в эмиграцию.
Провинциальная бюрократия и военный генералитет Китая остались прежними. В парламенте Китая обострилась борьба между революционным югом, который возглавил Сунь Ятсен, и милитаристским помещичьим севером, которым управлял Юан-Ши-Кай. Борьба в 1914 году перерастает в вооруженное столкновение и заканчивается победой Юан-Ши-Кая, который вскоре разгоняет парламент и становится единоличным властителем Китая – императором. В период военной диктатуры Юан-Ши-Кая Сунь создал в эмиграции в Японии новую революционную организацию – партию «Чжунхуа гоминьдан» (Китайская революционная партия), которую в народе называли просто Гоминьдан.
В 1915 году против Юан-Ши-Кая вспыхивают народные восстания, и Китай распадается на зоны влияния. В 1916 году Юан-Ши-Кай умер, после его смерти центральное китайское правительство теряет свое влияние, усиливается власть военных губернаторов отдельных провинций. Китайская военщина разделила Китай на множество сатрапий – разъединенных провинций, каждая из которых жила своей жизнью под управлением генералов-диктаторов. С началом Первой мировой войны японские войска изгоняют немецких колонизаторов, засевших в китайской провинции Шандун, Китай объявляет войну Германии. Однако долгожданный мир в ноябре 1918 года не оправдывает надежд: по мирному договору Шандунская провинция с 40-миллионным китайским населением отходит к Японии.
До лета 1918 года революционеры-«гоминьдановцы» непрерывно терпели поражение в схватках с силами Юан-Ши-Кая. Но к 1920 году сторонникам Сунь Ятсена удается захватить власть на юге Китая, в Кантоне. Партия Гоминьдан объединяет часть буржуазии и трудящихся в борьбе против правителей Северного Китая. Сунь приступает к организации революционной армии, выдвигает программу крестьянских преобразований, программу рабочей политики. В Китае начинается гражданская война.
В 1918 году Сунь направил Ленину и советскому правительству телеграмму, в которой писал о своем восхищении борьбой революционных масс России и выражал надежду, что в будущем революционные партии Китая и России объединятся для совместной борьбы. Революционная Россия рассматривалась Сунем как «великая надежда человечества». Контрреволюционное восстание «Бумажных тигров» в Кантоне заставило Суня опереться на левое крыло Гоминьдана, в то же время буржуазия юга Китая не желала серьезных социальных реформ.
Сунь надеялся получить военную помощь от Советской России, но ленинское правительство смогло оказать ее лишь весной 1920 года. По просьбе Суня Советское правительство направило в Гуанчжоу, где обосновалось в 1923 году руководимое Сунем революционное правительство Китая, группу военных советников и специалистов во главе с Павловым, Бородиным, Блюхером. Они помогли реорганизовать армию и укрепить партию Гоминьдан, объединившую все антифеодальные и антиимпериалистические силы. Сунь переписывается с советскими дипломатами, прислушивается к рекомендациям из СССР, получает деньги и оружие от «северного соседа».