Нарядный портрет Оленина, нам известный, нарисован советской пушкинистикой. Из чьей руки и идеализированный Пушкин выходил эталоном поведения, которое частенько не было безупречным в действительности. Не имеются в виду для нас здесь, конечно, его поэтические практики, не всегда симпатичные, впрочем, тому, царскому правительству. Вот и румяный образ Алексея Николаевича не так ясен, в смысле — чист.
На волне восторженных отзывов современников закрепилась за Олениным и устойчивая легенда про то, что чуть не он был прообразом знаменитого Митрофанушки в «Недоросле» Дениса Ивановича Фонвизина. Князь Петр Андреевич Вяземский, работавший над книгой «Фон-Визин», во избежание наветов, осторожно сообщает, что «в сей комедии так много действительности, что провинциальные предания именуют еще и ныне несколько лиц, будто служивших подлинниками автору. (…) Вероятно, предание ложное, но и в самых ложных преданиях есть некоторый отголосок истины». Допустим к честной заслуге Оленина, что выведенный сатирою, он мигом взялся за ум, развил дарования, сделавшись одним из образованных людей эпохи. А приютинский и петербургский его салоны, со слов знаменитого мемуариста Филиппа Филипповича Вигеля, сочетали в себе все приятности европейской жизни «с простотой, с обычаями русской старины» и собирали всё лучшее от литературы, науки и искусства своего времени. Каких только имен не находим мы в почетном списке посетителей. Карамзин, Крылов и Жуковский. Озеров, Львов и Державин. Батюшков и Гнедич. Пушкин, Грибоедов и князь Вяземский. Брюллов, Кипренский и Уткин. И все это правда.
По общему признанию, украшением салона была супруга Алексея Николаевича Оленина Елизавета Марковна, урожденная Полторацкая. Вот что запомнил граф Сергей Семенович Уваров: «Образец женских добродетелей, нежнейшая из матерей, примерная жена, одаренная умом ясным и кротким нравом, она оживляла и одушевляла общество в своем доме». А Вигель добавляет портрет вот какими наблюдениями: «Часто, лежа на широком диване, окруженная посетителями, видимо мучаясь, умела она улыбаться гостям… Ей хотелось, чтобы все у неё были веселы и довольны. И желание её беспрестанно выполнялось». Речь Вигеля, однако, представляется весьма двусмысленной и не приводит в восторг воображение. На современный слух, хозяйка знаменитого оленинского дома выглядит слегка чванливой.
Сам Оленин человек был, безусловно, просвещенный, но весьма осторожный проимперский деятель, развивавший дела по мере либеральной допустимости Александра I. Тысячеискусником прозвал его и сам тот император. А искусничал Оленин, по тому же Вигелю, во все, и николаевские годы тоже, «в сильных при дворе», был «чрезвычайно уступчив в сношениях с ними», однако делал это, «не изменяя чести».
Кроме восхитительных характеристик Оленина, хорошо всем нам известных, стоит приметить и негативные отзывы, которые для многих могут стать откровениями. Их тоже довольно. Более всех ненавидел Оленина барон Модест Андреевич Корф, однокашник Пушкина, затем крупный государственный чиновник. Он высказывал самые резкие суждения, называя того мелким и пустым, «отчаянной ничтожностью». Заметил, что Оленин «любил собирать у себя литераторов более из тщеславия, чем по вкусу к литературным занятиям». Говорил, что это был «человек в высшей степени отрицательный, с какими-то опрокинутыми понятиями и суждениями о вещах, без энергии, без рассудительности, тем более без ума». Беспрестанно повторял барон и то, к чему были у него верные основания, потому как он сменил именно Оленина на посту директора Публичной библиотеки, что не так блестяще была организована работа в книгохранилище, как это отменно представлялось. Николай Иванович Тургенев определял Оленина тарабарщиком и шутом и говаривал, что «в маленьком теле маленькая душа». Известно, что Алексей Николаевич был очень маленького роста и, когда сидел на стуле, будто бы ножки его даже не доставали и до полу. Оленин походил на детскую игрушку casse-noisete, и в обществе его кликали щелкунчиком. На этом дефекте отыгрались почти все современники. «Чрезмерно сокращенная особа», — иронизировал Вигель. «Лилипут», — поддерживал его барон Корф. Степану Петровичу Жихареву Алексей Николаевич показался «маленьким и очень проворным человечком». Князь Вяземский шутил о каком-то портрете Оленина, что художник, должно быть, был ленив, потому как немного труда стоило написать его и во весь рост.
В этом деле не остался не занятым и Пушкин. В «Путешествии Онегина» обнаруживаются «нулек на ножках» и «пролаз, о двух ногах нулек горбатый…» Для полной узнаваемости портрета поэт ставит в конце стиха оленинскую монограмму, которой тот подписывал свои рисунки.