В Либаве начались переформирования всех добровольческих частей и подготовка к новому походу под руководством генерала графа фон дер Гольца. И вот в это тяжелое время к формированию русского отряда приступил светлейший князь А.П. Ливен. Отряд назывался Либавский добровольческий стрелковый отряд, но более известен под названием Ливенского отряда.
Базируясь на Либаву, князь Ливен рассчитывал на удобную связь с Ревелем, где находился Северный корпус; на близость Германии, откуда можно было получать пополнения из русских военнопленных; в Либавском районе было очень много оружия и военного снаряжения, которое можно было получить для формирующегося отряда, и стратегически через Ригу можно было наступать на линию Псков – Двинск, которая в борьбе с большевиками являлась бы важнейшей.
Формировать в тех условиях русский отряд было весьма трудно: латыши, объявившие 18 ноября 1918 года независимость, не доверяли русскому формированию; германофильствующие балтийцы косились; союзники видели в русских германофилов, а германцы – антантофилов. Но, несмотря на все затруднения, поддержанный энергичной группой русских офицеров-патриотов, Ливен получил возможность 15 января 1919 года издать первый приказ по сформировавшемуся отряду. Князь Ливен вошел в соглашение с Балтийским ландесвером (под начальством майора Флетчера), что временно, до возможного соединения с Северо-Западной армией, входит в его состав, обязуясь подчиняться командованию ландесвера, за что получил для отряда полное снабжение, снаряжение, вооружение и довольствие.
Отряд шел под национальным бело-сине-красным флагом, имел печать с российским гербом дореволюционного образца, обмундирование было германское, но с русскими погонами, фуражка имела голубой околыш с русской кокардой, на левом рукаве носилась бело-сине-красная нашивка и под ней четырехгранный белый крест.
О сформировании отряда через Российскую миссию в Стокгольме были посланы донесения адмиралу Колчаку, генералу Деникину и министру иностранных дел Сазонову в Париж. Но сношения были очень затруднены, и большинство донесений не дошло по назначению. Только в июне пришел ответ от адмирала Колчака о назначении князя Ливена командиром русских стрелковых частей в Курляндии, с подчинением генералу Юденичу в Финляндии как командующему фронтом.
Через две недели (31 января) первая рота в 65 штыков с двумя пулеметами, под начальством князя Ливена, выступила к Виндаве, где и заняла крайне левое крыло фронта, упершись в море. Время от времени из Либавы поступали пополнения.
К концу февраля отряд значительно расширился, в него влилась Русская рота капитана Дыдорова, имелось два взвода кавалерии, кадры для формирующейся батареи и необходимый обоз.
В ночь на 26 февраля отряд повел наступление вдоль моря и, несмотря на упорное сопротивление и численное превосходство противника, занял Виндаву. Красные пытались несколько раз энергично наступать, чтобы отбить город, но были отбиты.
В марте началось наступление по всему фронту, и Ливенский отряд, часто идя в авангарде, принимал участие в боях за Туккум. 18 марта, будучи головным отрядом, с налету захватил Митаву и затем в течение нескольких дней, отбивая упорные атаки с трех сторон больших сил противника, удержал город, выказав устойчивость молодого отряда.
Затем на целых два месяца фронт протянулся вдоль реки Курляндской Ла. За это время отряд особенно отличился разведками и налетами в тыл красных. Все добровольческие части рвались вперед в Ригу, где свирепствовал самый жестокий террор. Но германское правительство считало, что отбросило большевиков от своей границы на достаточное расстояние; правительства же Антанты не могли решить: надо ли освобождать Ригу, когда и кому?
16 апреля, неожиданно, ударный батальон Балтийского ландесвера, отведенный на отдых в Либаву, сверг правительство Ульманиса, пользующегося симпатиями дипломатических представителей союзников, арестовав некоторых министров, обвиняя их в сношениях с большевиками. За князем Ливеном, находящимся при отряде в Митаве, прилетел аэроплан. Прибывшему в Либаву князю Ливену было предложено возглавить новое правительство под видом военной диктатуры, на что князь Ливен не согласился, но предложил свое посредничество между заинтересованными сторонами. И при таких условиях сформировалось новое правительство во главе с пастором Недрисом.
Князь Ливен, пользуясь передышкой на фронте, поехал в Берлин для налаживания формирований и отправки пополнений в отряд, за что энергично взялись генерал Потоцкий и сенатор Бельгард. И в мае месяце хотя и с большими трудностями, но все же была налажена перевозка пополнений. Воодушевленные идеей борьбы за поруганную Родину, полные горячего желания отдать свои силы для воссоздания Великой России, проникнутые ненавистью к захватившим Отечество большевикам, прибывали добровольцы, и отряд разрастался.