Александр Александрович вспоминал: «Великий князь Алексей Александрович имеет незаконного сына графа Белевского, для которого он составил капитал, сообразно имеющимся у него средствам, но никогда не придет ему в голову мысль оставить этому побочному сыну все свое состояние в ущерб своим родным братьям». И действительно, после смерти в 1908 г. великого князя Алексея Александровича наследниками официально бездетного генерал-адмирала признаны были его братья великие князья – Владимир Александрович, Павел Александрович и племянник Михаил Александрович, они поручили генерал-майору Е.П. Долинскому оценить оставшееся после кончины брата и дяди имущество.
Первая же любовь великого князя – фрейлина Александра Васильевна Жуковская – осталась в Германии, где вышла замуж за барона Г. фон Веррмана и в 1893 г. скончалась в Дрездене.
Удаленный отцом подальше от светских соблазнов великий князь, находясь в длительном морском плавании, по воспоминаниям своего воспитателя, адмирала К.Н. Посвета, «тяжело переживал разлуку со своей любимой».
Возведенный своим братом, императором Александром III, в звание контр-адмирала Алексей Александрович в 1877–1878 гг. принял участие в Русско-турецкой войне. За умелое руководство операцией по проводу понтонов из Никополя в Систово мимо артиллерийских турецких позиций князя наградили «Золотым оружием» с надписью: «За храбрость». В январе 1878 г. великий князь «За неутомимую и успешную распорядительность морскими командами, за принятие умелых действий, не допускающих нанесения вреда русским переправам», награждается боевым офицерским орденом Св. Георгия IV степени.
Вернувшись в Петербург, Алексей Александрович при встрече с братом – императором Александром III, выказал желание о постройке на предназначенном для него земельном участке на набережной реки Мойки собственного дворцового комплекса. Позже оказалось, что великий князь круто изменил свой образ жизни, которую он теперь в основном посвящает светским развлечениям, частым поездкам в любимый Париж, дружеским громким пирушкам, любовным романам и многим иным удовольствиям, включенным в перечень весьма сомнительных поступков его «рассеянного образа жизни».
Он заметно охладевает к делам, связанным с морской службой, несмотря на то, что периодическими указами брата он постепенно возводится в весьма высокие чина по флоту и ответственные морские должности.
По мнению великосветских современников великого князя Алексея Александровича и даже членов императорского семейства, он был «во всех отношениях человеком добрым, но склонным только к личной приятной жизни». Князь увлекался балетом и балеринами, подолгу жил в Париже, в котором жители французской столицы становились изо дня в день свидетелями весьма беспокойных шумных кутежей Алексея Александровича и его брата Владимира Александровича, последующих и регулярных лихих разъездов великих князей в предутренних сумерках.
Особое недовольство образ жизни великого князя и его отношение к морской службе вызывали у представителей дома Романовых. Его двоюродный брат великий князь Александр Михайлович (супруг дочери императора Александра III Ксении Александровны) в своих подробных «Воспоминаниях…» отмечал: «Князь Алексей Александрович пользовался репутацией самого красивого члена императорской семьи, хотя его колоссальный вес послужил бы значительным препятствием к успеху у современных женщин. Светский человек с ног до головы и бонвиван, которого баловали женщины, великий князь много путешествовал.
Одна мысль о возможности провести год вдали от Парижа заставила бы его подать в отставку. Но он состоял на государственной службе и занимал, как это ни странно, должности генерал-адмирала Российского императорского флота. Трудно себе было представить более скромное познание по морским делам, чем у этого адмирала могущественной державы. Одно только упоминание о современных преобразованиях в военном флоте вызывало болезненную гримасу на его красивом лице. Не интересуясь решительно ничем, что бы не относилось к женщинам, еде или к напиткам, он изобрел чрезвычайно удобный способ для устройства заседаний Адмиралтейств-совета. Алексей Александрович приглашал его членов к себе во дворец на обед и после того, как наполеоновский коньяк попадал в желудок его гостей, радушный хозяин открывал заседание Совета традиционным рассказом великого князя об одном душераздирающим случае из истории русского парусного флота…»
Для строительства усадебного дворца великого князя Алексея Александровича на набережной реки Мойки (дом № 122) пригласили тогда популярного зодчего Максимилиана Егоровича Месмахера, директора Училища технического рисования барона Штиглица, проводившего в это время перестройку и реконструкцию дворцов великих князей – Владимира Александровича и Павла Александровича.
М.Е. Месмахер являлся не только первым директором училища барона мецената А.Л. Штиглица, но и автором проекта монументального здания музея, названного современниками «Храмом славы прикладных художеств» в Соляном переулке, 15.