Определенный интерес для читателей представит запись в дневнике великого князя Константина Николаевича, посетившего 19 марта 1860 г. домашний концерт в доме своего гофмейстера: «Вечером была музыка у Сабурова. Трио Бетховена „A mol“. Играли Дрейшок, Шуберт и Vieutemps. Это такое совершенство, что я просто таял. Ничего подобного себе вообразить невозможно. Потом делал фокусы какой-то француз Филипп, одетый волшебником, делал удивительные штуки».
По мнению зодчих и градостроителей, проект архитектора Д.Е. Ефимова напоминал во многом планировку возведенного позже здесь дворца великого князя Алексея Александровича. Вероятно, по этой причине при строительстве великокняжеского дворцового комплекса были использованы основные конструкции дома Сабурова, стоявшие здесь с середины XVIII в. и расширенные в 1846-1850-х гг. зодчими Д.Е. Ефимовым, Г.Э. Боссе, а в 1876 г. – архитектором А.Н. Чеколевым. Доктор архитектуры и член-корреспондент Российской академии архитектуры и строительных наук Л.П. Лавров полагает, что дворец великого князя Алексея Александровича по существу не строился архитектором М.Е. Месмахером в 1883–1885 гг., а капитально перестраивался.
Проходили годы, а участок и особняк на набережной реки Мойки, 122, периодически менял своих владельцев. После смерти в 1863 г. директора императорских театров Андрея Ивановича Сабурова участок и усадебный дом в 1867 г. приобретает гвардейский полковник граф А.П. Бобринский, который, получив в 1872 г. чин генерал-лейтенанта и должность министра путей сообщения, выезжает со своим семейством из особняка в прекрасную казенную квартиру министерства.
Следующим владельцем усадьбы и особняка становится потомственный почетный гражданин Исаак Миронович Малкиель, пригласивший для частичных перестроечных работ на участке и в усадебной доме популярного столичного военного инженера-архитектора капитана А.Н. Чикалева. Основной задачей военного архитектора все же являлась разработка проекта постройки на бывшем угловом участке Сабурова на набережной Мойки, 122, угол Английского проспекта, 2, нового четырехэтажного доходного дома. Проект капитаном А.Н. Чикалевым был разработан и даже утвержден Городской управой, но по неизвестным причинам остался нереализованным.
Вначале 1880-х гг. потомственный почетный гражданин И.М. Малкиель скончался. В 1882 г. его вдова, Раиса Яковлевна, находясь в крайне затруднительных материальных условиях продала усадьбу Конторе «Их Императорских Высочеств Алексея, Сергея и Павла Александровичей».
После трагической гибели российского императора Александра II Кабинет Его Императорского Величества покупает несколько дополнительных земельных участков на набережной Мойки и объединяет их с участком, купленным у вдовы И.М. Малкиеля для младшего брата нового российского императора Александра III – контр-адмирала, великого князя Алексея Александровича, руководящего в ту пору Морским ведомством.
Усадебный участок, отведенный Алексею Александровичу Кабинетом Его Императорского Величества, имел площадь 7422 квадратных сажени.
При формировании земельного надела для усадьбы великого князя Алексея Александровича столичным властям специально пришлось проложить новую городскую магистраль от Храповицкого моста через Мойку до Офицерской улицы, назвав ее Алексеевской улицей – именем великого князя.
Будущий владелец огромного усадебного участка и роскошного дворца на набережной реки Мойки, 122, родился 2 января 1850 г. и был четвертым сыном императора Александра II и императрицы Марии Александровны. При крещении младенца не только нарекли Алексеем, но сразу же зачислили шефом лейб-гвардии Уланского полка, в лейб-гвардии Преображенский и Егерский полки, в списки морского Гвардейского экипажа и официально объявили кавалером всех высших российских наград. По достижении шестилетнего возраста ребенку присваивается воинское звание лейтенант флота и он становится шефом 27-го Флотского экипажа.
Великий князь Алексей Александрович традиционно для императорских детей получил домашнее образование. С ранних лет его готовили к морской карьере, поэтому помимо общеобразовательных предметов его учебная программа включала полный курс Морского кадетского корпуса. Воспитателем к Алексею Александровичу специально был приставлен адмирал Константин Николаевич Посьет – русский морской и государственный деятель, член Комитета морских учебных заведений, почетный член Московского университета и Императорского общества естествоведения. Адмирал являлся также членом Государственного совета и членом совета Николаевской морской академии.