В январе 1880 года молодому юристу доверили самостоятельно производить следственные действия, чем он и стал заниматься в 7-м следственном участке Санкт-Петербурга, где, впрочем, задержался ненадолго. В течение следующих четырех лет Александр Макаров выполнял обязанности секретаря в канцелярии председателя окружного суда и в 1-м уголовном отделении. В конце октября 1882 года его направили в распоряжение председателя департамента Санкт-Петербургской судебной палаты А. Ф. Кони, проводившего ревизию делопроизводства в Новгородском окружном суде. Две недели работы с выдающимся юристом дали Макарову очень многое в смысле профессиональных навыков.
Карьера молодого чиновника обещала быть успешной. В 1884 году двадцатисемилетний Макаров получает свою первую самостоятельную должность – городская дума избирает его «добавочным» мировым судьей по городу Санкт-Петербургу. В следующем году его уже назначают членом окружного суда. В 1887 году указом Правительствующего сената А. А. Макарова утверждают в должности санкт-петербургского почетного мирового судьи. В этом звании он прослужил два года, а в январе следующего был награжден орденом Святого Станислава II степени.
В дальнейшем послужном списке Макарова города меняются один за другим – Ревель, Нижний Новгород, Москва, Киев, Саратов, Харьков.
С одобрения императора Александра II назначенный министром юстиции и генерал-прокурором Н. А. Манасеин после основательной ревизии Прибалтийского края начал проводить там судебную реформу. Для этого ему потребовались квалифицированные кадры прокурорских и судебных работников. Среди кандидатов на руководящие должности в Прибалтике был и А. А. Макаров. В октябре 1889 года тридцатидвухлетний юрист стал первым прокурором Ревельского окружного суда и прослужил здесь почти пять лет, зарекомендовав себя хорошим профессионалом, строгим, внимательным руководителем. За время службы он достиг чина коллежского советника и получил очередной орден – Святой Анны II степени.
В апреле 1894 года Александр Александрович возглавил прокуратуру Нижегородского окружного суда, где выслужил чин статского советника. В начале 1897 года Макаров стал прокурором Московского окружного суда. Дел у московского прокурора всегда было немало: контроль за товарищами прокуроров и судебными следователями, участие во всевозможных комиссиях и заседаниях, прием посетителей и многое другое. Прокуратура тогда вела наступательную борьбу с преступностью, особое внимание уделяя разоблачению расхитителей и растратчиков.
В Москве А. А. Макаров оставался около двух лет. 24 мая 1899 года в чине действительного статского советника он был переведен в Киев на должность председателя окружного суда, прокурором которого был талантливый юрист С. Н. Цемш, а освободившееся место Макарова в Москве занял А. В. Степанов.
В новой должности А. А. Макаров служил до 14 марта 1901 года, удостоившись за свою деятельность ордена Святого Владимира III степени, а затем вновь перешел в прокуратуру. Теперь он стал прокурором Саратовской судебной палаты. Здесь ему пришлось работать вместе с губернатором Петром Аркадьевичем Столыпиным.
7 апреля 1906 года А. А. Макаров в качестве старшего председателя возглавил Харьковскую судебную палату, но на этой ответственной должности пробыл только полтора месяца. После многих лет тихого карьерного роста судьба сделала неожиданный поворот. Назначенный в правительстве И. А. Горемыкина министром внутренних дел П. А. Столыпин, успевший за время совместной работы в Саратове по достоинству оценить деловые качества Макарова, в мае 1906 года пригласил Александра Александровича к себе заместителем. В восхождении Макарова по ступеням служебной лестницы начался следующий, гораздо более ответственный период.
Время было не самое спокойное – назначение Макарова товарищем министра внутренних дел совпало, с одной стороны, с усилением террористической деятельности социалистов-революционеров, а с другой – с введением военно-полевых судов и наступлением царизма на революционное движение. Ему достался самый боевой участок – как заместитель министра он курировал департаменты полиции и духовных дел иностранных исповеданий, а также состоящий при министерстве техническо-строительный комитет.
Результаты его деятельности устраивали далеко не всех. Например, С. Ю. Витте считал серьезной ошибкой назначение на эти посты П. А. Столыпина и А. А. Макарова и утверждал, что со времени вступления Столыпина на пост министра «последовала полная дезорганизация полиции». Действительно, в это время работа полиции строилась в основном на провокациях. «Вся полиция в такое трудное время очутилась в руках лиц, совершенно незнакомых с тем делом, которым они должны были заниматься», – писал Витте.