На одном из Всеподданнейших докладов министра Хвостова Николай II, отойдя к окну и глядя в него, неожиданно произнес: «Повелеваю вам прекратить дело Сухомлинова». Тогда Хвостов ответил, что прекращение этого дела вредно для государства и династии. «Но если Ваше Величество настаиваете на том, то я сделал бы так: я бы прекратил дело по собственному почину…
Тогда Ваше Величество можете меня уволить, как неугодного министра юстиции, а имя Ваше не будет к этому прикосновенно».
Старинный дворянский род Хвостовых уходит своими корнями в далекий XIII век. Сами Хвостовы хотя и считали себя потомками пруссов, но были людьми православными и свято соблюдали все обычаи и традиции русского народа. Многие представители этого рода пользовались почетом и уважением. Поэтому и неудивительно, что в предводители дворянства Ржевского уезда Тверской губернии был избран коллежский асессор Алексей Николаевич Хвостов, у которого от брака с Екатериной Лукиничной, урожденной Жемчужниковой, 8 января 1857 года родился сын Александр. Отец имел небольшое имение в сельце Красном Елецкого уезд Орловской губернии с 757 десятинами земли и вся семья вместе с маленьким Сашей любили проводить здесь летние дни.
Александр Хвостов получил образование в престижном Учебном заведении — Императорском Александровском (бывшем Царскосельском) лицее. И с чина титулярного советника он в декабре 1878 года начал свою службу в Государственной канцелярии. В феврале следующего года он переводится в Министерство юстиции и назначается кандидатом на судебные должности при прокуроре Саратовского окружного суда. Первое время был секретарем при прокуроре, а затем в комиссии сенатора И. И. Шамшина участвовал в «обозрении» Самарской губернии. Спустя три года Хвостов исправлял уже должность товарища прокурора Саратовского окружного суда, а вскоре и утверждается на этом посту. Через некоторое время его причислили к Министерству государственных имуществ, где он, правда недолго, был чиновником по особым поручениям при Прибалтийском управлении.
В 1885 году министр юстиции Д. Н. Набоков перевел способного юриста в центральный аппарат своего ведомства на должность редактора департамента Министерства юстиции. Здесь Хвостов пробыл довольно долго, почти четыре года, и получил свою первую награду — орден Святого Владимира 4-й степени. В 1888 году новый министр юстиции Н. А. Манасеин назначил его сначала чиновником особых поручений, затем временно исполняющим обязанности управляющего законодательным отделением и, наконец, юрисконсультом.
В 1894 году Александр Алексеевич с чином действительного статского советника перешел на службу в Министерство внутренних дел, где занял пост правителя канцелярии министра, каковым был тогда И. Л. Горемыкин, с которым у Хвостова были давние дружеские отношения. При его преемнике Д. С. Сипягине он занял пост директора хозяйственного департамента.
Это было время, когда Хвостов много и плодотворно работал в различных комиссиях: о порядке ответственности по уплате в казну окладных сборов (руководил тайный советник А. А. Рихтер), для выяснения вопроса о земельных правах населения Забайкальской области (возглавлял действительный статский советник А. А. Нарышкин), в сельскохозяйственном совете при Министерстве земледелия и других.
За период службы в Министерстве внутренних дел к его наградам прибавились новые: ордена Св. Станислава 2-й и 1-й степеней, Святого Владимира 3-й степени и даже иностранные: командорский крест французского ордена Почетного Легиона и австрийский орден Франца-Иосифа 2-й степени.
В январе 1901 года Хвостов вновь вернулся в Министерство юстиции и занял должность директора первого департамента. За те четыре года, что он провел в кресле директора, ему пришлось выполнять самую разнообразную работу. Обладавший высокой работоспособностью, честный и неподкупный чиновник использовался на полную мощность. Он, например, занимался вопросами переустройства управления островом Сахалином и карательных его учреждений, мероприятиями по отмене ссылки, вопросами преобразования сенатских изданий, пересмотром действующих в отношении лиц православного исповедания правил производства дел о расторжении браков из-за прелюбодеяния одного из супругов, постановкой отправления правосудия в волостных судах и т. п.
1 января 1905 года Хвостов получает чин тайного советника, и вскоре становится товарищем министра юстиции, а в конце того же года — еще и сенатором.