Весной 1891 года Александр в числе лучших учеников окончил лицей. 1 мая того же года он определяется на службу в «собственную его величества канцелярию по ведомству учреждений императрицы Марии», которое руководило учебными и благотворительными учреждениями. Ему был присвоен чин 9-го класса — то есть титулярного советника.
Но гражданская карьера не прельщала А. К. Булатовича, и, следуя семейной традиции, он подает прошение о выдаче ему документов, а 28 мая 1891 года зачисляется рядовым на правах вольноопределяющегося в лейб-гвардии гусарский полк 2-й кавалерийской дивизии. Это был один из самых аристократических полков, доступ в который открывался лишь избранным. Служба здесь требовала немалых средств. Одно обмундирование чего стоило! Бобровый воротник на шинели, парадная высокая бобровая шапка, ташка, расшитая золотом, парадный белый ментик с бобровой опушкой…
Александр Ксаверьевич выбрал этот полк не из тщеславия — оно было ему чуждо. Но в этом полку отличился двоюродный брат матери — Лев Львович Альбранд. В одном из сражений за покорение Кавказа он потерял руку, но не ушел с поля боя. Портрет Льва Львовича висел в офицерском собрании, а о его храбрости в полку ходили легенды. Кроме того, дальний родственник по материнской линии Николай Костандиди был офицером этого полка уже в чинах.
Через год и три месяца — 16 августа 1892 года — А. К. Булатович получает первый офицерский чин — корнета. Еще через год он направляется в фехтовальную команду, сформированную при лейб-гвардии конно-гренадерском полку, с заданием стать инструктором фехтования. Здесь он пробыл полгода и 10 апреля 1894 года откомандировывается в свой полк, где его назначают сначала помощником заведующего, а затем — 24 декабря 1895 года — заведующим полковой учебной командой.
Вспоминая о том времени и о службе брата в лейб-гвардии гусарском полку, М. К. Орбелиани пишет «Как раз в эти годы Луцыковка не приносила прежних доходов. Хлеб был обесценен благодаря невыгодному для помещиков договору с Германией. Немцы откармливали своих свиней дешевым русским зерном. Чтобы облегчить материальное бремя матери, брат находит возможность кое-что зарабатывать, беря призы на скачках и на concours hippiques, конкурируя с такими известными наездниками, как улан Маркозов и казак Носович. Он предлагает матери сдать ему и его полковому товарищу имение в аренду под прогон лошадей возможного конного завода породистых верховых. Мать, опасаясь его молодости, отказалась. Возможно, что такое предприятие сделало бы его в дальнейшем более оседлым и изменило бы его судьбу. В первые годы своей службы в качестве офицера он всецело отдается своей полковой работе и усовершенствованию себя как кавалериста, а из вверенных ему солдат стремится создать будущих воинов, умеющих владеть оружием и готовых отдать, не колеблясь, жизнь за честь родины. Он был очень строг, но справедлив и любим подчиненными. В полку ему дали кличку — Мазепа. Он жил в небольшой прилично обставленной квартире в Царском Селе.
Однажды, возвращаясь домой на извозчике, он узнает про его горе лошадь — источник существования — пропала. Подъехав к дому, он, не задумываясь, выносит старую ценную картину и отдает ему… Извозчику удалось продать картину за двести рублей и купить другую лошадь.
Мы жили в Петербурге, и брат по воскресеньям посещал нас. Я не помню, чтобы он бывал на балах, в театре, на концерте. Когда у нас бывали вечеринки, он очень неохотно приводил товарищей, а сам с видом мученика стоял и следил за танцующими.
Были у него свои знакомые, где он любил бывать.
Командир полка князь Васильчиков большим умом не отличался, но очень был любим офицерами за свою искренность, доброжелательность и простоту в обращении… Княжна, которая, как говорили, очень нравилась брату, была неразговорчива, застенчива и скромна. Он часто посещал симпатичную семью Зиновьевых. Они были люди со средствами, но жили не на показ. Они любили видеть своих друзей в любое время без приглашения, и все чувствовали себя у них как дома. Завсегдатаем был в их доме полковник Сергей Молчанов, расположенный к брату. Он ему помогал при издании книги «С войсками Менелика II».
Александр Ксаверьевич обладал комическим талантом. Я хохотала до слез на спектакле в лицее, когда он играл роль дочери городничего в «Ревизоре» Гоголя.
Летом, когда кончались скачки в Красном Селе, он приезжал на короткое время в Луцыковку. Он был весел, остроумен, и мне было грустно, когда он нас покидал. Остался в памяти его отъезд в Киев верхом на серой арабской кобыле Медузе. Он участвовал тогда в конкурсе на быстроту пробега при сохранении свежести лошади…»
Хотя Александр Ксаверьевич учился в гражданском учебном заведении, он был отличным наездником — быть может, одним из лучших в то время. А это было нелегко русские кавалерийские и казачьи полки всегда славились первоклассными конниками. По словам тренера И. С. Гаташа, служившего в конюшне Булатовича, «для Александра Ксаверьевич а не существовало лошади, которую он не смог бы укротить».