В апреле 1921 года было принято решение о создании Северо-Кавказского военного округа. Образовывался он на базе Первой Конной армии. ЦК РКП(б) выделил в распоряжение РВС округа 15 ответственных работников и 500 коммунистов. Командующим войсками военного округа назначался К. Е. Ворошилов, а членом реввоенсовета А. С. Бубнов.
Условия работы на Северном Кавказе оказались более чем трудными: сложная политическая обстановка, бытовые неудобства. Недоставало продовольствия, одежды, обуви, жилых помещений. В условиях голода 1921 года на Северном Кавказе активизировался бандитизм. Местное казачество и богатое крестьянство зачастую оказывало помощь бандитам, пыталось влиять на войска создаваемого округа.
Коммунисты, политработники в этой сложной обстановке обращались к опыту гражданской войны, к указаниям В. И. Ленина о том, что «…где наиболее заботливо проводится политработа в войсках и работа комиссаров… там нет расхлябанности в армии, там лучше ее строй и ее дух, там больше побед».
«Роль комиссара в Первой Конной армии была громадной, — говорил позднее А. С. Бубнов. — Комиссар был прежде всего носителем духа нашей партии, ее дисциплины, ее твердости и мужества».
Повседневной задачей войск являлась борьба с бандитизмом. По неполным данным, на территории округа насчитывалось до 7 тысяч бандитов. При ликвидации бандитизма А. С. Бубнов решительно выступал против карательных операций.
— Расправы, — говорил он, — могут вызвать недовольство и злобу даже у лояльно настроенных казаков и горцев.
При выборе форм и способов борьбы с мятежниками он требовал учитывать их классовую неоднородность, веками складывавшиеся особенности быта местного населения, националистические пережитки и религиозные предрассудки.
— Даже среди бандитов, — подчеркивал член реввоенсовета, — есть заблуждающиеся и обманутые люди, которых следует отделять от действительных врагов Советской власти и нейтрализовывать.
Как член Юго-Восточного бюро ЦК РКП(б) и Донецкого обкома партии, представитель военного округа в Экономическом совете Юго-Востока России, А. С. Бубнов внес определенный вклад в борьбу с голодом, в ликвидацию холерной эпидемии, в решение многих народнохозяйственных и социальных вопросов данного региона.
В мае 1922 года А. С. Бубнов назначается на ответственную должность заведующего Агитационно-пропагандистским отделом Центрального Комитета РКП(б). Это назначение совпало с резким обострением идеологической борьбы внутри страны, вызванной условиями нэпа.
…В субботу с утра повалил мягкий густой снег, но затем поднялся злой ветер, и вскоре по всей Москве яростно заплясала и вызывающе завыла метель. Остановились трамваи. Дворники, бросив расчищать заносы, ибо дело это было безнадежное, разбрелись по домам. На службу Андрей Сергеевич пошел пешком. Он любил такую погоду. После нее всегда, как после боя, наступает ясность. Либо ты, либо тебя. Он верил в свои силы и испытывал почти удовольствие, ввергая себя в круговорот страстей и событий. Боялся он только за друзей и близких. Ведь именно сейчас, как никогда, осложнилась обстановка внутри партии. Ильич тяжело болен. Советское государство переживает большие экономические и политические трудности. Воспользовавшись этим, вновь подняли голову троцкисты. Считают: настало удобное время, чтобы изменить ленинский курс РКП(б), протащить в руководящие партийные, советские и военные органы своих людей. Красную Армию пытаются вывести из-под влияния партии, хотят перетянуть на свою сторону как можно больше авторитетных, зарекомендовавших себя истинными революционерами людей. Даже Владимир Александрович Антонов-Овсеенко запутался в их сетях… Нет, отсиживаться преступно, надо идти непогоде наперекор, не отдавать ей друзей, крепить ряды единомышленников.
22 января 1924 года газета «Красная звезда» сообщила: «Приказом Союзного Реввоенсовета начальник ПУРа тов. Антонов-Овсеенко освобожден от занимаемой должности. Вновь назначенный на эту должность тов. Бубнов вчера приступил к исполнению своих обязанностей».
Вместе с М. В. Фрунзе, К. Е. Ворошиловым, М. Н. Тухачевским, П. И. Барановым и другими виднейшими военными деятелями А. С. Бубнов возглавил борьбу армейских коммунистов с фракционерами. «Для меня единство партии — это не пустой звук, — заявлял он в письме XIII съезду РКП(б), — для меня всякая оппозиция представляется делом вредным, а всякие попытки организованной оппозиции делом, безусловно, антипартийным, то есть преступным».
С большим вниманием в партийных кругах встретили это письмо А. С. Бубнова, а также его статьи «Как тов. Преображенский опровергает тов. Преображенского» и «Фракционная перепутаница», опубликованные в «Правде». В них автор резко отмежевывался от всевозможных фракций, выступал за единство партии, показывал несостоятельность взглядов лидеров оппозиции.