В начале 1920 г. «Отдельная Семиреченская армия», разбитая частями Красной Армии, отступила к китайской границе. Анненков собрал здесь свое «воинство» и заявил им: «Со мной должны остаться только самые здоровые борцы, решившие бороться до конца. А тех, кто устал, я не держу, пусть кто хочет идет назад в Советскую Россию». Многие изъявили согласие возвратиться в Советскую Россию, не идти в Китай. С Анненковым остались лишь отъявленные головорезы. Тогда потихоньку было отдано распоряжение расстреливать тех, которые собираются в Советскую Россию и не уходят в Китай.
Такие жестокие расправы с подчиненными Анненков практиковал неоднократно. «Так, в Семипалатинске во время наступления на Лепсинские красные части солдаты бригады генерала Ярушина, влившиеся затем в анненковский отряд, отказались действовать против крестьян и стали переходить на их сторону. Анненков решил расформировать и обезоружить бригаду. По его приказу большая часть бригады в количестве 1500 человек, в том числе и офицеры, была расстреляна и зарублена анненковским полком в непроходимых Алекульских камышах».
Наконец анненковская банда пересекла китайскую границу и в районе синьцзянского города Урумчи разместилась в Китае.
Анненков намеревался продвинуть своих «атаманцев» на восток, чтобы присоединиться к Семенову 2, а его люди тем временем бандитствовали на китайской земле. И тогда, в 1921 году, китайские власти разоружили «атаманцев», а самого Анненкова посадили в тюрьму, где он пробыл около трех лет. Только при содействии английских и японских влиятельных лиц его в феврале 1924 г. освободили.
К тому времени, за три года постыдного пребывания в Китае, «анненковское братство» рассыпалось: многие ушли в белогвардейские отряды, формировавшиеся здесь русскими белоэмигрантскими контрреволюционными организациями; некоторые пробрались к Семенову, поступили на службу к китайским генералам, ведущим гражданскую войну; часть возвратилась на родину с повинной.
Освободившись из тюрьмы, Анненков со своим бывшим начальником штаба Н. А. Денисовым (которого он самолично произвел теперь в генералы) и небольшим отрядом (18 человек) «атаманцев» в мае 1924 г. направился в глубь Китая, поселился неподалеку от г. Ланьчжоу и занялся «разведением племенных лошадей».
В апреле 1926 г. в советской, китайской и белоэмигрантской печати было опубликовано заявление Анненкова, в котором он просил Всероссийский Центральный Исполнительный Комитет о прощении. Вслед за этим Анненков, а затем и его начальник штаба Денисов прибыли из Китая в Советскую Россию. Анненков обратился к своим бывшим «партизанам» и ко всем белогвардейцам с призывом прекратить антисоветскую борьбу, покаяться перед Советской властью и вернуться на родину с повинной.
Подобное не было в то время неожиданностью. Советский народ и весь мир знали уже немало случаев раскаяния врагов советского строя, осознавших безнадежность продолжения борьбы. Среди них были и непримиримые ранее политические противники, много лет сражавшиеся против Советской власти, видные белогвардейские генералы. И все же раскаяние и явка с повинной Анненкова представляли в некотором роде загадку. Что повлияло на Анненкова, заставило его прекратить борьбу с Советской властью? Как мог надеяться на помилование этот фанатичный, жестокий «каратель» и «усмиритель»?
Только сравнительно недавно, через сорок с лишним лет после процесса, были опубликованы данные, которые пролили свет на «мотивы» Анненкова. И оказалось, что раскаяние Анненкова было «раскаянием особого рода».
Ни на один момент после освобождения из китайской тюрьмы Анненков не оставлял мысли о продолжении вооруженной борьбы против Советской власти. Из медвежьего угла, неподалеку от Ланьчжоу, где он «разводил племенных лошадей», Анненков вел обширную переписку с бывшими соратниками, лидерами русских белогвардейских организаций, действовавших на китайской территории. Он присматривался к белому лагерю, изучал возможности вновь продолжить борьбу, искал в ней свое место (конечно же подобающее его «высокому положению атамана»).