В декабре 1918 года вместе с казаками своего полка бросает фронт и возвращается домой, в станицу Вёшенскую. Там он волей судьбы (как и Григорий Мелехов) принимает деятельное участие в Верхнедонском (или Вёшенском) восстании казаков 1919 года, вспыхнувшем 12 марта.
Сперва хорунжий Харлампий Ермаков избирается командиром повстанческой сотни, затем командиром казачьего полка и вскоре после того назначается командиром отрядов Каргалинского района боевых действий, сведённых в дивизию под его начальством.
Естественно, возникает вопрос: почему недавний фронтовик, бросивший ряды белоказачьей армии генерала Краснова, уставший от войны с её кровопролитием, снова взялся за оружие? Что заставило его это сделать? Почему герой Первой мировой войны опять стал участвовать в новой для себя войне, войне Гражданской?
Причина была веская и смертельно опасная для человека, носившего на плечах офицерские погоны, а на груди «царские» кресты и медали. Вошедшие на Верхний Дон красные воинские части, получив циркулярное письмо Оргбюро ЦК РКП(б) от 24 января 1919 года за подписью Я. М. Свердлова, приступили к исполнению широкомасштабной операции по «расказачиванию». Во многих местах она вылилась в подлинный геноцид казачьего населения, массовые расстрелы казаков — стариков и лиц призывного возраста.
Офицер Харлампий Ермаков, в соответствии с требованиями вышеуказанного документа, подлежал безоговорочному уничтожению как «классовый враг». Поэтому он и оказался в рядах участников Вёшенского восстания, защищавших свои жизни, свои семьи, свой уклад жизни и право называться казаками.
Своей сводной дивизией хорунжий Ермаков командовал до соединения вёшенских повстанцев с Белой армией. Когда к станице Вёшенской подошла группа генерал-майора А. С. Секретова, он сдал командование дивизией и получил назначение офицером для поручений при его штабе. В августе 1919 года в бою под станицей Филимоновской получает ранение в левую руку и снова оказывается в госпитале.
В октябре выздоровевший Харлампий Ермаков назначается помощником командира полка по хозяйственной части, затем — по строевой части. Новый атаман Всевеликого войска Донского генерал А. П. Богаевский производит его сперва в сотники, а через месяц — в есаулы.
Белые войска на Юге России после неудавшегося деникинского похода на Москву отступали. Часть Донской белоказачьей армии уходила на Кубань. В начале марта 1920 года Ермаков под станицей Георгиевской с большой группой донцов попадает в плен к красно-зелёным.
Военнопленные белые казаки вскоре пополняют ряды Красной армии. Красноармеец Харлампий Ермаков участвует во взятии Новороссийска. Вскоре становится командиром кавалерийского эскадрона, затем принимает дела командира 3-го отдельного кавалерийского полка.
Во главе этого полка, вошедшего в состав 1-й Конной армии, он принимает участие в боях на Польском фронте, участвует во взятии города Львова. Затем его полк перебрасывают вместе с другими будённовскими частями на Южный фронт, против Русской армии генерала Врангеля.
Ермаков чувствует, что недоверие к бывшему белому офицеру в его лице, несмотря на всю его воинскую доблесть, не ослабело у красного командования. Он дважды подвергается фильтрации в Особых отделах 1-й Конной армии и Юго-Западного фронта. Но ничего компрометирующего его не находят.
Ермакова переназначают во 82-й кавалерийский полк, в котором было много донских казаков. После завершения войны в Крыму полк перебрасывается на Дон, который всё ещё живёт отголосками Гражданской войны. Там ему поручают вести борьбу с повстанческими «бандами» Попова и Андрианова.
В середине 1921 года следует новое назначение — командиром школы младших командиров (дивизионной кавалерийской школы) в городе Майкопе. Ермаков продолжал расти по служебной лестнице в Рабоче-Крестьянской Красной армии (РККА)…
Но тучи уже сгущались над его головой. Командующий Северо-Кавказским военным округом, верный сподвижник Сталина, один из лидеров военной оппозиции на VIII съезде РКП(б) К. Е. Ворошилов развернул беспощадную борьбу с бывшими офицерами. В феврале 1923 года старший краском Харлампий Ермаков уволен из рядов РККА.
Он возвращается в станицу Вёшенскую, в родной хутор Базки. Его приглашают на работу в сельсовет. Но в том же 1923 году Ермакова арестовывают. Следствие не дало против него улик, и в следующем году бывший белый и красный офицер освобождается под поручительство. Решение об освобождении принял краевой суд.
Ермаков встречается с молодым, уже известным писателем Михаилом Шолоховым, своим земляком. Рассказывает ему о своей судьбе, об участии в войнах, о службе в трёх армиях — Российской императорской, Белой и Красной. Поразительная по личному трагизму судьба героя-казака поразила Шолохова. Так появилась идея создания «Тихого Дона» с главным его героем Григорием Мелеховым.