Балязин, ссылаясь на отзывы современников, пишет, что Мамонова, в отличие от других фаворитов, нельзя было назвать красавцем. Высок, хорошо сложён, здесь всё без изъяна, но общий вид портили «калмыковатые», несколько раскосые глаза. Я думаю, современники ошибались. Судя по портрету работы Левицкого, Мамонов был ослепительно хорош. Можно предположить, что ему польстил художник, но правильнее сказать, что просто мода поменялась. В наше время чуть раскосые глаза — это то самое, что придаёт индивидуальность, шарм и неотразимость. Главное, чтоб он самой императрице нравился, а она о нём пишет в письме Гримму: «…чудные чёрные глаза с тонко вырисованными бровями, рост несколько выше среднего, осанка благородная, поступь свободна. Одним словом, мы столько же основательны по характеру, сколько отличаемся силой и блестящей наружностью».
Дворцовое прозвище Мамонова экзотично и мрачновато — Красный Кафтан, ассоциативно прозвище отсылает куда-то в мрачные времена Ивана Грозного, но всё совсем не так, просто Александр Матвеевич обожал свой малиновый бархатный кафтан, которые ему очень шёл. «Под красным кафтаном скрывается, — пишет Екатерина Гримму, — превосходнейшее сердце, соединённое с большим запасом честности; умны мы за четырёх, обладаем неистощимой весёлостью, замечательной оригинальностью во взглядах на вещи, в способе выражения удивительной благовоспитанности».
Первое время она присматривалась к молодому человеку, особенно не обольщаясь на его счёт. Умён — несомненно, образован, хорошо рисует, книжки почитывает, но слишком скромен, нельзя понять, пригоден ли он к государственной службе. Через пять месяцев (1787 год) императрица взяла его с собой в поездку в Крым и за полтора года самого тесного общения изменила о нём своё мнение. В царском картёже было много важных особ и даже, как уже сообщалось, два императора. Мамонов со всеми умел находить общий язык, в беседах был раскован, обходителен, словом, им можно было гордиться. Екатерина решила, что будет готовить своего любовника на роль вице-канцлера в помощь Безбородко. Она исходатайствовала для него титул графа Священной Римской империи и даже повелела ему присутствовать на совете. Но не тут-то было, молодого человека совершенно не интересовали государственные дела, к ним у него и сердце не лежало, да и способностей не было.
Будущий канцлер Безбородко, а тогда статс-секретарь императрицы относился с Мамонову крайне насторожённо, обвиняя его в деспотизме и злобном характере. Сравнивая Ланского и Дмитриева-Мамонова, он писал приятелю своему Воронцову в Лондон: «Ланской, конечно, не хорошего был характера, но в сравнении сего, сущий ангел. Он имел друзей. Не усиливался слишком вредить ближнему, о многих старался, а сей ни самим приятелям своим, никому ни о чём помочь не хотел. Я не забочусь о том зле, которое он мне наделал лично, но жалею безмерно о пакостях, от него в делах происшедших, в едином намерении, чтоб только мне причинить досады».
Может быть, это письмо было написано под горячую руку? М. Гарновский, секретарь Потёмкина, в своём дневнике от 1787 года написал: «Александр Матвеевич много может, нет в сём ни малейшего сомнения. Никто из предшественников его не в состоянии был поколебать власть докладчика, а он оную колеблет». Докладчиком в данном случае был Безбородко. Иностранцы тоже снисходительны к Мамонову. Сегюр, например, отзывается о нём очень хорошо, князь де Линь подчёркивает раскованность и непринуждённость Мамонова в поведении с императрицей, он-де один «говорит ей правду», то есть позволяет себе спорить и иметь собственное мнение.
От прочих фаворитов Дмитриева-Мамонова ещё отличало его отношение к наследнику Павлу и всему его семейству. Историки не устают напоминать, что фавориты глумились над Павлом и вели себя по отношению к нему крайне дерзко. «Глумились» — слишком сильно сказано, а дерзость их выражалась в том, что они унизительно не замечали гатчинского принца. Все двадцать три года пребывания Павла в наследниках он рвался к государственной работе, и все эти годы Екатерина из кожи вон лезла, чтобы его к этому не допустить. Мамонов действовал умно, он был очень почтителен с семьёй наследника, при каждом случае старался угодить и показать своё расположение.