Родился в родовитой княжеской семье. Образование получил в Сухопутном кадетском корпусе, где наряду с другими дисциплинами основательно изучал право. Окончил корпус в 1747. Во время войны с Пруссией участвовал не только в баталиях, но и выполнял некоторые тайные (надо полагать, разведывательные) поручения командования, едва не стоившие ему жизни. К концу Семилетней войны занимал должность генерал-квартирмейстера. В декабре 1762 императрица Екатерина II поручила ему «улаживание отношений» между бунтующими крестьянами и их хозяевами на уральских заводах. С этой миссией он успешно справился, проявив, с одной стороны, милосердие и благоразумие, а с другой — твердость и решительность.
3 февраля 1764 Екатерина II, убедившись в исключительной честности Александра Алексеевича, назначила его генерал-прокурором Правительствующего сената вместо смещенного ею А. И. Глебова.
А. А. Вяземский строго придерживался данного ему наставления и пользовался полным доверием императрицы, что позволило ему не только долго удерживать высокий пост, но и значительно расширить свои полномочия. С 1780-х он стал заведовать не только делами юстиции, но также и внутренних дел, и финансов. Деятельно руководил он подчиненными ему прокурорами, направляя им наставления и поручения, а также Тайной экспедицией, занимавшейся расследованием политических преступлений. При нем были введены в действие Учреждения для управления губерниями (1775), которые подробно регламентировали права и обязанности местной прокуратуры.
За «прилежание, усердие и ревность к пользу службы» удостоен множества наград, в том числе орденов Св. Андрея Первозванного и Св. Александра Невского. Имел воинский чин генерал-поручика и гражданский — действительного тайного советника. В сентябре 1792 по болезни вышел в отставку.
Князь А. А. Вяземский скончался 8 января 1793.
При назначении А. А. Вяземского на должность, Екатерина II собственноручно написала ему подробнейшее наставление. Следует заметить, что за всю историю России, этого не сделал ни один ее правитель.
Исключение составляет только Председатель Совета Народных Комиссаров СССР В. И. Ленин, который также лично под запись продиктовал для Политбюро свою знаменитую статью «О „двойном“ подчинении и законности», ставшую в те суровые годы программной для всех работников прокуратуры.