Ойцев окончательно бросил командование и скрылся в неизвестном направлении. Его штаб после учиненного над ним разгрома тоже больше не собирался. Стали разбегаться и командиры многих развалившихся частей и отрядов, бросив их на произвол судьбы. Число беженцев с обозами на станции достигало более 25000 человек, хотя их вряд ли кто в это время учитывал. Среди разложившихся частей на бесконечных митингах раздавались крики: «Бей командиров!», «Нас завели и предали!», «Разбегайся кто куда может!». Вскоре действительно начались расправы с командирами. (Всю эту ситуацию талантливо передал участник тех событий писатель А.С. Серафимович в своей книге «Железный поток».) Наконец, между оставшимися командирами было достигнуто соглашение — образовать армию, назначить ее командование и готовиться к походу. Однако организационного завершения работы по созданию армии тогда еще не произошло. Образовались три колонны, которые, по сути дела, были самостоятельными, и их объединяло только стремление выйти из окружения, даже выбор единого маршрута движения вызвал большие споры. Наибольшую организованность неизменно показывала колонна Ковтюха, поэтому ей и двигаться пришлось первой.
Чтобы войска и беженцы могли выйти на побережье и двигаться к Туапсе, а потом к Майкопу, им нужно было сначала преодолеть Новороссийск, который к этому времени был в руках у турок и немцев, — другого пути не было. Лучшим вариантом могло быть заключение с интервентами соглашения, по которому войска просто прошли бы через город, не останавливаясь в нем. Но времени на переговоры уже не было. Приближались значительные силы белых. Последние начали обстрел колонн из бронепоездов и тяжелой артиллерии.
Решение на начало движения Ковтюх принимал самостоятельно. 26-го августа, пользуясь темнотой, он погрузил свою колонну в поезда и глубокой ночью эшелон за эшелоном направил ее в Новороссийск. Войскам была дана команда быть в готовности сходу вступить в бой с интервентами. По прибытии на станцию колонна быстро разгрузилась и уже через полчаса походным порядком проследовала через город по дороге на Геленджик. Ни немцы, ни турки никак не ожидали такого развития событий, красные вели себя так, будто никого кроме них в городе не было. Наверное, такой психологический прием и сыграл главную роль в том, что противник просто опешил, и боестолкновения не произошло. За первой колонной проследовали вторая, а потом, уже утром, и третья.
Когда приблизилась третья колонна, капитан — начальник немецкого гарнизона, приказал своим подчиненным срочно грузиться на корабли и выходить в море. Лишь отойдя от города на некоторое расстояние, немецкие корабли открыли огонь из тяжелой артиллерии, причем сначала по спускавшимся с гор белым, а потом и по хвосту уже покидавшей город третьей колонне красных. Но вреда эта стрельба красным колоннам не принесла, так как дорога на Геленджик была прикрыта горами. Затем немцы перенесли огонь полностью на белых, между ними завязалась артиллерийская дуэль. Пока эта перестрелка продолжалась, красные успели уйти от города на порядочное расстояние.
Потом были бои на подступах к Геленджику, у деревень Пшадской и Архипо-Осиповской, причем практически все эти населенные пункты красным проходилось брать в ночном бою, в рукопашных схватках, так как боеприпасов оставалось крайне мало. Среди отличившихся в этих боях был и житель находящейся в центре Таманского отдела, станицы Славянской И.Т. Высланко — будущий убийца И.Л.Сорокина. Он возглавлял разведку Таманского полка в колонне Ковтюха. После взятия Архипо-Осиповки он стал командиром эскадрона, заменил тяжело раненного И.С.Озовского. Активно действовал и взвод цыган из Славянского полка.