Жизнь текла своим чередом, великий князь, отошедший от активной государственной и профессиональной морской деятельности, по непонятным причинам продолжал подниматься по ступеням карьерной лестницы. В 1880 г. Алексей Александрович указом императора Александра II становится генерал-адъютантом, а в 1881 году новый император Александр III, к удивлению и негодованию офицеров флота, назначает своего брата – великого князя Алексея Александровича – на должность главного начальника Императорского флота и Морского ведомства вместо великого князя Константина Николаевича. В 1883 г. великий князь жалуется самым высоким военно-морским званием генерал-адмирала. Подобная оценка императором весьма скромных морских талантов своего младшего брата вызвала крайнее неудовольствие даже у представителей дома Романовых – великих князей. Великий князь Александр Михайлович в своих воспоминаниях отмечал о столь стремительной морской карьере великого князя: «Он состоял на государственной службе и занимал, как это ни странно, должность генерал-адмирала Российского императорского флота. Трудно было себе представить более скромные познания по морским делам, чем у этого адмирала могущественной державы… Не интересуясь решительно ничем, что не относилось бы к женщинам, еде и напиткам…»
А великий князь Константин Константинович после своей незаслуженной отставки от дел флота с горечью отмечал: «Алексей слывет ленивым, праздным и очень самонадеянным, несмотря на недостаточность познаний».
Позже, после завершения позорной для России Русско-японской войны и трагической гибели в Цусимском сражении Второй русской Тихоокеанской эскадры под командованием адмирала З.П. Рожественского, когда погибли 22 военных корабля России 6000 русских моряков, которые предпочли смерть позорной капитуляции, выдающийся государственный деятель, председатель Совета министров Российской империи, Сергей Юльевич Витте иронически отмечал: «Великий князь Алексей Александрович, будучи очень милым, честным и благородным, в то же время был человеком в деловом отношении не особенно серьезным…»
Известный же русский ученый-кораблестроитель Алексей Николаевич Крылов в те печальные для россиян дни, с негодованием оценивая состояние императорского флота и деятельность его главного начальника, писал тогда: «За 23 года его управления флотом бюджет вырос в среднем чуть ли не в пять раз; было построено множество броненосцев и броненосных крейсеров, но „множество“ являлось только собранием отдельных судов, а не флотом… В смысле создания флота деятельность генерал-адмирала Алексея была характерным образцом бесплановой растраты государственных средств, подчеркивая полную непригодность самой организации и системы управления флотом и Морских ведомством».
Бездарное руководство великого князя Морским ведомством и процветание неимоверного казнокрадства в руководимом им государственном учреждении и привели тогда к небывалому в истории России разгрому русского флота в Корейском проливе. После этих событий великий князь становится в глазах россиян одним из главных виновников русских неудач на море во время войны с Японией 1904–1905 гг. Алексей Александрович тогда получил довольно едкое народное прозвище «князь Цусимский».
Великий князь Александр Михайлович в приватной беседе со своим приятелем – императором Николаем II – неоднократно требовательно заявлял об отставке Алексея Александровича, повторяя царю: «Это твой долг перед Россией. Ты должен это сделать, ибо это необходимо для защиты наших национальных интересов». Николай II согласно кивал головой, но всякий раз сокрушенно разводил руками: «В этом я не сомневаюсь, но как я могу уволить дядю Алексея? Любимого брата моего отца!..»
Лишь явное негодование морских офицеров, открытые народные возмущения и выступления принудили великого князя самого подать в отставку. Один из подобных народных взрывов произошел во время спектакля в Михайловском театре, в котором выступала пассия Алексея Александровича актриса Элиза Балетта. Инцидент произошел в 1905 году после поражения русского флота. Присутствовавший на спектакле писатель А.М. Горький в одном из своих писем отметил, что: «Вчера в Михайловском театре некто из первого ряда кресел, при выходе на сцену Элизы Балетты, осыпанной бриллиантами, сказал, обращаясь к публике: „Господа! Вот где наш флот! На каждом пальце этой женщины – броненосец!“ Поднялся шум, полиция вмешалась и хотела вывести патриота вон, но публика зааплодировала ему, и „патриот“ остался в театре, а великий князь Алексей уехал домой. Этого же великого князя прошлый раз освистали на Морской, когда он ехал от Балетты».
После целого ряда подобных инцидентов великий князь Алексей Александрович сам подал рапорт об отставке, а Элиза Балетта вынуждена была покинуть пределы Российский империи, забрав с собой в Париж подарки князя.