За год до возвышения Александра Матвеевича Матвей Васильевич был перемещен из Москвы в Смоленск на должность наместника губернии. При возвышении сына его поспешили возвратить в Москву, где он становится уже президентом оставленной на время Вотчинной коллегии. Одновременно он являлся и директором Межевой канцелярии, решавшей все вопросы дворянского землевладения. Тесные родственные отношения связывали Дмитриевых-Мамоновых с Потемкиным, а также и с Фонвизиными. Матвей Васильевич на несколько лет пережил сына и некоторое время был фактическим хозяином Дубровиц, ставших собственностью фаворита в 1787 году.
Александр Матвеевич Дмитриев-Мамонов родился в 1758 году. Он получил хорошее домашнее образование и поступил в гвардию. Карьера его складывалась обычно для людей этого круга. Сначала он по протекции отца в чине поручика гвардии был определен адъютантом к всесильному тогда Г. А. Потемкину. Благодаря его покровительству Александр Матвеевич оказался при дворе императрицы.
Находясь вдали от Петербурга, Потемкин для ограждения своих интересов желал иметь при особе государыни преданного флигель-адъютанта. Подходящим для такой роли человеком ему представлялся молодой Мамонов, и поэтому он рекомендовал Александра Матвеевича Екатерине, относившейся к самому Григорию Александровичу все более прохладно.
По отзыву современников, А. М. Дмитриев-Мамонов произвел при дворе благоприятное впечатление. Датский посланник Остен-Сакен писал о нем, что «он хорошо воспитан, наружность у него степенная, н, кажется, он обладает большим умом и живостью, чем Ермолов». По отзыву саксонского посланника Гельбига, дававшего обычно беспощадные характеристики русским придворным, Дмитриев-Мамонов «был очень умен, проницателен и обладал такими познаниями… в некоторых научных отраслях, особенно же во французской и итальянской литературах, что его можно было назвать ученым; он понимал несколько живых языков, а на французском говорил и писал в совершенстве».
В первое время своего возвышения Александр Матвеевич держался очень скромно и осторожно. «Ни в какие дела не мешается,- писали о нем Г. Р. Державину,- да и не любит их выслушивать. Да он же, кроме ужина, никого и не принимает, а к ужину менее не съезжаются, как человек двадцать, где производят разные веселья».
Обязанности фаворита сначала ограничивались развлечением императрицы. Екатерина охотно привлекала его к постановкам собственных комедий в эрмитажном театре. Написал для театра несколько пьес и Дмитриев-Мамонов. В письмах к барону Гримму императрица шутливо называла Александра Матвеевича «красным кафтаном»:
«Этот красный кафтан облекает существо, обладающее прекраснейшим сердцем вместе с большим запасом честности; ума хватит на четырех, неистощимый запас веселости и замечательная оригинальность во взгляде на вещи и в способе выражения этого взгляда, удивительная благовоспитанность и особенное знание всего, что придает блеск уму… Наша наружность вполне соответствует нашим внутренним качествам; черты лица правильны, у нас чудные черные глаза с темными бровями, рост выше средняго, благородная осанка, приятная поступь; словом, мы столько же основательны характером, сколько ловки, сильны, блестящи».
Из писем Екатерины, ставших своеобразным литературным памятником эпохи, несмотря на восторженные эпитеты, можно составить о Дмитриеве-Мамонове мнение как о человеке, лишенном интереса к государственной деятельности. Впрочем, стремясь закрепить свое значение при дворе, Александр Матвеевич старался вникнуть в систему государственного управления, особенно интересовался внешней политикой. «Он разумен,- говорила о фаворите Екатерина II,- и будет присутствовать в Совете, чтобы иметь тамо свой глаз».
К его чести, Дмитриев-Мамонов своим влиянием не пользовался, чтобы вредить кому-либо. Мало того, он был единственным фаворитом, который преданность Екатерине сумел соединить с почтительным отношением к ее наследнику Павлу. Милости на Александра Матвеевича сыпались градом.
В 1787 году во время путешествия императрицы в Крым он сопровождал ее и тогда же был произведен в премьер-майоры Преображенского полка. В том же году назначен действительным камергером, корнетом кавалергардского корпуса, шефом Санкт-Петербургского полка. Спустя два года придворной службы он был произведен в генерал-поручики и пожалован в генерал-адъютанты. Стараясь угодить Екатерине, австрийский император Иосиф II пожаловал ее фаворита в графы Римской империи.
Богатство Дмитриева-Мамонова возросло в несколько раз. В одном Нижегородском наместничестве, как свидетельствует «Русский биографический словарь», ему принадлежало до 27 тысяч душ крестьян.
В должности генерал-адъютанта он получал 18 тысяч рублей в год, стоимость его драгоценных камней была баснословной, одни бриллиантовые аксельбанты оценивались в 50 тысяч рублей…