Александр Александрович Макаров родился 7 июля 1857 года в купеческой семье и после окончания гимназии поступил на юридический факультет Санкт-Петербургского университета. Завершив обучение, в ноябре 1878 года он начал службу в качестве кандидата на должности по судебному ведомству при председателе Санкт-Петербургского окружного суда А. А. Кузьминском. Первое время подвизался в канцелярии 2-го уголовного отделения, затем был переведен в 3-е отделение «для защиты подсудимых». Через год Макаров уже помогал судебному следователю 2-го участка Царскосельского уезда, тогда же получил свой первый гражданский чин коллежского секретаря.
В январе 1880 года молодому юристу доверили самостоятельно производить следственные действия, чем он и стал заниматься в 7-м следственном участке Санкт-Петербурга, где, впрочем, задержался ненадолго. В течение следующих четырех лет Александр Макаров выполнял обязанности секретаря в канцелярии председателя окружного суда и в 1-м уголовном отделении. В конце октября 1882 года его направили в распоряжение председателя департамента Санкт-Петербургской судебной палаты А. Ф. Кони, проводившего ревизию делопроизводства в Новгородском окружном суде. Две недели работы с выдающимся юристом дали Макарову очень многое в смысле профессиональных навыков.
Карьера молодого чиновника обещала быть успешной. В 1884 году двадцатисемилетний Макаров получает свою первую самостоятельную должность — городская дума избирает его «добавочным» мировым судьей по городу Санкт-Петербургу. В следующем году его уже назначают членом окружного суда. В 1887 году указом Правительствующего сената А. А. Макарова утверждают в должности санкт-петербургского почетного мирового судьи. В этом звании он прослужил два года, а в январе следующего был награжден орденом Святого Станислава 2-й степени.
В дальнейшем послужном списке Макарова города меняются один за другим — Ревель, Нижний Новгород, Москва, Киев, Саратов, Харьков.
С одобрения императора Александра II назначенный министром юстиции и генерал-прокурором Н. А. Манасеин после основательной ревизии Прибалтийского края начал проводить там судебную реформу. Для этого ему потребовались квалифицированные кадры прокурорских и судебных работников. Среди кандидатов на руководящие должности в Прибалтике был и
А. А. Макаров. В октябре 1889 года тридцатидвухлетний юрист стал первым прокурором Ревельского окружного суда и прослужил здесь почти пять лет, зарекомендовав себя хорошим профессионалом, строгим, внимательным руководителем. За время службы он достиг чина коллежского советника и получил очередной орден — Святой Анны 2-й степени.
В апреле 1894 года Александр Александрович возглавил прокуратуру Нижегородского окружного суда, где выслужил чин статского советника. В начале 1897 года Макаров стал прокурором Московского окружного суда. Дел у московского прокурора всегда было немало: контроль за товарищами прокуроров и судебными следователями, участие во всевозможных комиссиях и заседаниях, прием посетителей и многое другое. Прокуратура тогда вела наступательную борьбу с преступностью, особое внимание уделяя разоблачению расхитителей и растратчиков.
В Москве А. А. Макаров оставался около двух лет. 24 мая 1899 года в чине действительного статского советника он был переведен в Киев на должность председателя окружного суда, прокурором которого был талантливый юрист С. Н. Цемш, а освободившееся место Макарова в Москве занял А. В. Степанов.
В новой должности А. А. Макаров служил до 14 марта 1901 года, удостоившись за свою деятельность ордена Святого Владимира 3-й степени, а затем вновь перешел в прокуратуру. Теперь он стал прокурором Саратовской судебной палаты. Здесь ему пришлось работать вместе с губернатором Петром Аркадьевичем Столыпиным.
7 апреля 1906 года А. А. Макаров в качестве старшего председателя возглавил Харьковскую судебную палату, но на этой ответственной должности пробыл только полтора месяца. После многих лет тихого карьерного роста судьба сделала неожиданный поворот. Назначенный в правительстве И. Л. Горемыкина министром внутренних дел П. А. Столыпин, успевший за время совместной работы в Саратове по достоинству оценить деловые качества Макарова, в мае 1906 года пригласил Александра Александровича к себе заместителем. В восхождении Макарова по ступеням служебной лестницы начался следующий, гораздо более ответственный период.
Время было не самое спокойное — назначение Макарова товарищем министра внутренних дел совпало, с одной стороны, с усилением террористической деятельности социалистов-революционеров, а с другой — с введением военно-полевых судов и наступлением царизма на революционное движение. Ему достался самый боевой участок — как заместитель министра он курировал департаменты полиции и духовных дел иностранных исповеданий, а также состоящий при министерстве техническо-строительный комитет.