Вступая на этот пост, Брусилов так писал в приказе о положении в кавалерии: «После империалистической войны и голодов, последствием которых неизбежно явилась общая разруха, наше былое коневое богатство значительно убавилось как количественно, так и качественно; слышатся постоянные жалобы на недостаток лошадей и на плохое их качество. По этому поводу считаю необходимым объявить, что лошади — не «машина», а живое существо: на фабрике ее не закажешь. Восстановление коневых средств страны требует долгого времени, а война не ждет, и хорошая кавалерия должна суметь извлечь всю возможную пользу из того материала, который ей дан, ибо другого пока нет.
На основании долголетнего опыта могу смело утверждать, что даже плохая по качествам лошадь, но хорошо содержанная, то есть выкормленная, вычищенная и правильно работанная, может нести значительно большую работу, чем плохо содержанная, хотя бы и высококровная лошадь».
Управление инспектора кавалерии имело широкий круг обязанностей: организация кавалерийских частей, развитие боевых качеств кавалерии при соблюдении современных требований, подготовка командного состава кавалерии, правильное применение действовавших уставов и инструкций. Поскольку штат управления был невелик, кроме Брусилова — 8 человек (тогда в армии приходилось экономить), то работы хватало всем, в том числе и начальнику.
Уже через месяц после своего назначения, 1 марта, главкому С. С. Каменеву был представлен проект программы работы управления инспектора кавалерии. В первую очередь он предусматривал выработку взглядов на современные требования к кавалерии; ежегодную организацию военной игры, кавалерийских сборов и полевых поездок; пересмотр существовавших кавалерийских уставов; упорядочение ремонтирования кавалерии. Брусилов намеревался войти с ходатайством о подчинении ему в техническом отношении Высшей кавалерийской школы, чтобы на практике проверять теоретические положения еще до введения их в действие в войсках. Главком одобрил план, и Брусилов принялся за дело со свойственной ему в семьдесят лет страстью к работе.
В ближайшие же месяцы он добился осуществления ряда пунктов программы: было разработано постановление по производству испытаний и состязаний по подготовке армейских кавалерийских частей и военно-учебных заведений, организовано Всероссийское общество конного спорта, начата подготовка инструкторов конно-саперного дела, приступил к работе отдел ремонтирования РККА и т. д.
Брусилов хотел бы и дальше служить Родине, но возраст и здоровье напоминали о себе. Сильно болела раненая нога. Он считал недопустимым быть подчиненным в тягость своим недомоганием и стариковской слабостью, поэтому твердо порешил оставить важные и ответственные посты. 5 сентября 1923 года, спустя несколько дней после своего семидесятилетия, Брусилов подал главкому рапорт об отставке. Но в Красной Армии высоко ценили таких специалистов, как Брусилов: РВС республики просил его послужить еще некоторое время.
В конце сентября 1923 года была учреждена должность помощника главкома по кавалерии; пост этот занял С. М. Буденный — блестящий кавалерист, крупнейший кавалерийский начальник со времен наполеоновских войн, имя которого, несомненно, должно стоять в ряду с именами Мюрата и Платова. Управление инспектора кавалерии и отдел ремонтирования РККА подчинялись теперь Буденному. 15 марта 1924 года инспекцию кавалерии расформировали. Брусилов был назначен для особо важных поручений при РВС республики. В этой должности он и состоял последние два года жизни.
За годы службы в Красной Армии Брусилов познакомился и работал со многими видными военачальниками, которых породила наша народная революция. На протяжении 1923–1925 годов он неоднократно встречался с М. В. Фрунзе, занимавшим ведущие посты в Красной Армии, а с ноября 1924 года возглавившим РВС республики. Фрунзе был очень внимателен со старым русским военачальником. Брусилов, со своей стороны, имел возможность убедиться, что человек этот, революционер-профессионал, не имевший военного образования, — прирожденный военачальник.
В годы гражданской войны Фрунзе осуществил ряд блестящих операций, которые могли бы составить честь любому полководцу. Ныне — и в этом Брусилов убеждался во время каждой встречи — Фрунзе, проводя в жизнь директивы партии большевиков, работал над укреплением мощи Красной Армии, армии новой, коренным образом отличающейся от всех предыдущих. В то же время эта армия была естественной и единственной наследницей славных боевых традиций старой русской армии, и строительству ее Брусилов готов был отдать все свои силы.
Свои чувства к М. В. Фрунзе Брусилов высказал в письме в РВС республики в ноябре 1925 года, после смерти пролетарского полководца (в тот момент Брусилов был в Карловых Варах). Он писал:
«Буду всегда помнить доброе отношение и внимание Михаила Васильевича ко мне и к моей семье. Моя глубокая благодарность к нему тем более требует, чтобы я выразил мое сердечное соболезнование и сочувствие не только вдове его, но и всем Вам, его ближайшим сотрудникам и сослуживцам».