Новое повышение в чине за отличие по службе ожидало Герасима Колпаковского в январе 1855 года одновременно с назначением исправляющим (исполняющим) должность военно-окружного начальника. В 1858 году становится исправляющим должность начальника Атавского округа и киргизов (казахов) Большой Орды. В 1860 году производится в подполковники.
Осенью того же года Колпаковский участвует в военной экспедиции полковника Циммермана за реку Чу для «наказания» кокандцев за их разбойное нападение на казахские роды, присягнувшие на верность России. В ходе экспедиции штурмом были взяты крепости Токмак и Пишпек.
21 октября 1860 года подполковник Г. А. Колпаковский, командуя отдельным отрядом, выдержал бой с 20-тысячным войском хана Коканда, которое вторично перешло границу России. За победу в этом бою, когда неприятель имел численное превосходство более чем в двадцать раз, он был произведён в чин полковника и пожалован орденом Святого Георгия 4-й степени.
В 1862 году полковник Колпаковский командовал отрядом, который проводил рекогносцировку (разведку) за рекой Чу. Было взято укрепление кокандцев Кастек и после десятидневной осады вторично взята крепость Пишпек, которая подверглась разрушению. За эту военную экспедицию Герасим Алексеевич производится в генерал-майорский чин.
В 1864 году Колпаковскому вверяется командование войсками Семипалатинской области, и он становится её генерал-губернатором. С образованием в 1867 году Семиреченской области он назначается её генерал-губернатором и командующим войсками, расположенными на этой территории, в том числе казачьими.
С именем Герасима Алексеевича Колпаковского связано создание порубежного Семиреченского казачьего войска. Он и стал, как командующий войсками Семиреченской области, первым наказным атаманом новообразованного казачества Российской империи.
Причиной его создания стали задачи охраны российской государственной границы в Туркестане с Китаем. Так в отечественной истории появилось новое «восточное» пограничное казачье войско — Семиреченское. Оно было образовано 14 июля 1867 года из 9-го и 10-го полковых округов Сибирского казачьего войска, то есть из личного состава 9-го и 10-го полков сибирских казаков.
В казачье сословие по желанию записывались крестьяне из числа православных, селившихся в Семиречье. В 1869 году в него записали 400 человек эмигрантов-калмыков, бежавших из китайского Туркестана, принявших православие и российское подданство.
Новое казачье войско размещалось в Семиреченской области (на территории современных Киргизии, Алма-Атинской, Талды-Курганской, части Джамбульской и Семипалатинской областей Казахстана). Войсковой столицей, в которой размещалось управление, стал город Верный (ныне Алматы).
Войсковым знаменем казаков-семиреченцев было Георгиевское знамя с надписью «Семиреченскому казачьему войску, получившему своё начало от доблестных Сибирских казаков».
На высокой должности войскового наказного атамана Г. А. Колпаковский пробыл долгих 15 лет, много сделав для обустройства новообразованного Семиреченского казачьего войска и хозяйственного развития края, ставшего частью Российской империи. В скором времени здесь появились первые русские поселения, население которых занималось землепашеством.
Производство в генерал-лейтенанты главы Семиреченской области состоялось в 1871 году. Колпаковский становится одним из тех военных деятелей, которые расширяли российские пределы в Туркестанском крае, обеспечивали здесь безопасность государственных границ, занимались экономическим обновлением областей Средней Азии.
Колпаковский оказался одним из организаторов Кульджинского похода 1871 года. Его результатом стало временное присоединение к Российской империи Кульджинского ханства, располагавшегося на юго-западной окраине китайского Туркестана. Поход был подготовлен и проведён с минимальными потерями в людях и материальных издержках.
Кульджинский поход явился защитой государственных интересов России в Средней Азии. Непосредственным поводом к нему стал опустошительный набег дунган, таранчей и других племён Северо-Западного Китая весной 1871 года на российские владения в Семиречье, от которого в первую очередь пострадали местные киргизы (казахи).
Генерал-лейтенант Г. А. Колпаковский во главе двухтысячного воинского отряда, значительную часть которого составляли семиреченские казаки, вторгся во владения кульджинского хана и двинулся на его столицу Кульджу (Инин). Разгромив несколько отрядов таранчей, Колпаковский штурмом взял крепость Чинчагодзы. Большая часть её трёхтысячного гарнизона оказалась уничтоженной.
На следующий день после её взятия состоялось решающее в походе сражение с ополчением племени таранчей и его союзниками. Племенные отряды оказались наголову разгромленными, и бежали, преследуемые казачьей конницей. После этого русский отряд, уже не встречая организованного сопротивления, двинулся вверх по течению реки Или и без боя вступил в город Кульджу. Там были взяты богатые трофеи, в том числе 19 артиллерийских орудий устаревших образцов.