После провала «Московской директивы» конфликт между П. Н. Врангелем и А. И. Деникиным продолжал нарастать. В ноябре 1919 года барон был назначен командующим Добровольческой армией, но очень скоро ушел с этой должности из-за противостояния с главнокомандующим ВСЮР. Петр Николаевич подал в отставку, уехал в тыл, а затем отправился в Константинополь. Многим, наверное, может показаться странным тот факт, что боевой офицер, георгиевский кавалер, возглавлявший Кавказскую добровольческую армию, покидает службу в столь сложное для Родины время из-за каких-то разногласий со своим командующим. Как считает историк Р. Г. Гагкуев, генерал Врангель всячески старался доказать, что в случае непринятия его плана действия он не может отвечать за результат, и не хотел руководить заранее проигрышным делом.
Тем временем Добровольческая армия отступала, положение белых на Юге России по-прежнему ухудшалось и уже казалось безнадежным. В апреле 1920 года А. И. Деникин сложил свои полномочия. Пост правителя Юга России и главнокомандующего занял П. И. Врангель.
Закрепившись в Крыму, Петр Николаевич делал все, чтобы возродить у белых сил надежду на успех, и старался вести себя весьма гибко. Более того, по словам Р. Г. Гагкуева, он радикально изменил политику белых и пошел на те меры, которые ранее были для них попросту немыслимы. Достаточно упомянуть отношение к офицерству, и в частности к красным военным специалистам: Врангель полностью амнистировал тех, кто ранее каким-либо образом участвовал в работе на большевиков.
Отойдя от лозунга о «единой и неделимой России», Петр Николаевич выступал за будущее федеративное устройство государства. Он был готов признать независимость Украины, признал независимость Горской федерации Северного Кавказа и издал ряд указов по областной автономии казачьих земель. Правительство во главе с известным экономистом, ближайшим сподвижником П. А. Столыпина и продолжателем столыпинской реформы А. В. Кривошеиным утвердило ряд важнейших реформ, основной из которых стал Закон о земле, предполагавший наделение землей крестьян. Также был принят Закон о волостных земствах и сельских общинах, предусматривавший реформу местных органов самоуправления. Все эти меры показали возможность эволюции Белого движения и то, что ему есть что предложить широким слоям населения всей России.
Армия была реорганизована и теперь называлась Русской. Прилагались значительные усилия для прекращения случаев мародерства и противодействия разложению личного состава. В апреле Белая гвардия одержала определенные победы. Так, был предотвращен штурм Перекопа Красной армией, что имело большое значение для укрепления морального духа войск. Летом Русская армия, разгромив несколько красных дивизий, прорвалась в Северную Таврию, где можно было пополнить запасы продовольствия.
Однако все эти успехи лишь немного оттянули окончательное поражение Вооруженных сил Юга России. Время было упущено. Большевики контролировали большую часть территории страны. Союзники больше не хотели тратиться на поддержку белых. В ноябре частям Красной армии удалось прорвать оборону Крыма. Правителю Юга России пришлось отдать приказ об эвакуации, в котором были такие слова:
«Русские люди. Оставшаяся одна в борьбе с насильниками, Русская армия ведет неравный бой, защищая последний клочок русской земли, где существуют право и правда…
По моему приказанию уже приступлено к эвакуации и посадке на суда в портах Крыма всех, кто разделял с армией ее крестный путь, семей военнослужащих, чинов гражданского ведомства с их семьями и отдельных лиц, которым могла бы грозить опасность в случае прихода врага…
Дальнейшие наши пути полны неизвестности.
Другой земли, кроме Крыма, у нас нет. Нет и государственной казны. Откровенно, как всегда, предупреждаю всех о том, что их ожидает».
Крымская эвакуация проводилась в еще более сложных условиях, чем новороссийская. Тем не менее все прошло успешно. Известно, что вопрос возможной эвакуации заранее прорабатывался Врангелем, когда он вступил в обязанности главкома. Барон помнил о катастрофе Новороссийска и Одессы. В итоге во время массового отъезда из Крыма никакого хаоса не было. Практически все, кто хотел эмигрировать, смогли попасть на пароходы. Врангель, обходя русские порты на миноносце, лично контролировал их готовность выйти в море. В ноябре 1920 года Петр Николаевич и сам отбыл в Константинополь.