В 1889 в связи с преобразованием судебной системы в Прибалтийском крае (там создавались окружные и мировые судебные установления), А. А. Макаров назначается первым прокурором Ревельского окружного суда. В этой должности оставался 5 лет, зарекомендовав себя хорошим профессионалом. В апреле 1894 возглавил прокуратуру Нижегородского, а в 1897 — Московского окружных судов. В мае 1899 Макаров переводится в Киев, где становится председателем окружного суда. Спустя два года — в Саратове возглавляет прокуратуру судебной палаты. 7 апреля 1906 он назначается старшим председателем Харьковской судебной палаты. В мае того же года П. А. Столыпин, ставший министром внутренних дел и хорошо знавший по совместной работе в Саратове Макарова, взял его своим заместителем. Товарищем министра внутренних дел А. А. Макаров служил до января 1909, став параллельно и сенатором. Однако вскоре вследствие придворных интриг вынужден был переместиться на должность государственного секретаря.
В сентябре 1911 от руки террориста погиб председатель Совета министров и министр внутренних дел П. А. Столыпин. Правительство возглавил В. Н. Коковцов, который и предложил Макарову портфель министра внутренних дел. С 1 января 1912 он стал одновременно и членом Государственного совета.
В первых числах апреля 1912 произошло трагическое событие на приисках Ленского золотопромышленного товарищества — колонна рабочих, организованно направляющаяся к администрации, чтобы вручить прошение прокурору, была расстреляна. Макаров, который срочно вернулся из Крыма, где он отдыхал, и не успел еще войти в курс дела, выступая на трибуне Государственной думы, произнес речь, концовка которой всех ошеломила. Он сказал о расстреле рабочих: «Так было, и так будет впредь». Впоследствии, на допросе в Чрезвычайной следственной комиссии, Макаров сказал, что в своей речи «был односторонен, был самонадеян, был вследствие этого ложен в своей речи». Однако этих слов Макарову не простили. В декабре 1912 Макаров потерял свой пост и оставался лишь членом Государственного совета.
7 июля 1916 Александр Александрович был назначен министром юстиции и генерал-прокурором и занимал эту должность до 20 декабря 1916.
После освобождения от должности А. А. Макаров оставался сенатором и членом Государственного совета. 1 января 1917 ему был присвоен чин действительного тайного советника. Он награжден многими Российскими орденами.