Более того, с матерью Михаила Михайловича, великой княгиней Ольгой Федоровной, при известии о браке случился удар, и она скончалась. Этого Александр III простить уже не мог. Он лишил Михаила Михайловича полагающегося великим князьям содержания, отстранил от всех занимаемых им постов и приказал покинуть Россию.
В ответ на сообщение герцога Николая Вильгельма Нассауского о состоявшейся свадьбе российский император отправил телеграмму, в которой говорилось следующее: «Я получил письмо Вашего Высочества. Я могу на него ответить лишь сообщением, что брак Великого Князя Михаила Михаиловича, заключенный без моего разрешения и без согласия и благословения его родителей, никогда не сможет быть признан законным и должен рассматриваться как ничтожный и недействительный. Александр».
В результате великий князь покинул Россию и поселился с супругой на юге Франции, в Каннах. Только в 1901 г., уже при Николае II, брак Михаила Михайловича с графиней С. Н. Меренберг в России был признан. Об этом в августе 1901 г. последовал Указ, согласно которому С. Н. Меренберг с потомками удостаивалась титула графини Торби.
Титул графов Торби предложил сам Михаил Михайлович как память о деревне Тори в имении своего отца, Михаила Николаевича. В 1910 г. супруги переехали в Англию, где поселились в арендованной ими усадьбе Кенвуд-хаус, в предместье Лондона. В Россию они так и не вернулись.
В 1927 г. скончалась Софья Николаевна, а в 1929 г. — Михаил Михайлович. Обоих похоронили рядом, на лондонском Хамстедском кладбище. Род графов Торби прервался в 1959 г. на их сыне Михаиле, не имевшем детей.
Достроенный дворец по имени заказчика получил название Мало-Михайловского дворца (в Петербурге уже имелись Михайловский и Ново-Михайловский дворцы). Пытаясь вернуть вложенные в его строительство деньги, Михаил Михайлович через братьев Сергея и Александра долгое время безуспешно пытался сдать здание в аренду.
До 1911 г. во дворце располагались различные административные учреждения. В 1904 г. здание передали в пользование Главному управлению торгового мореплавания и портов. Поскольку эту организацию вскоре упразднили, вместо нее дворец заняло под свои нужды Министерство торговли и промышленности. В 1910 г. здание хотело купить Германское посольство, но сделка не состоялось. Якобы опасались со стороны посольства шпионской деятельности в рядом расположенном Адмиралтействе.
Зиму 1910/11 г. здание пустовало. Наконец в марте 1911 г. его купило основанное Г. П. и А. Г. Елисеевыми страховое общество «Русский Ллойд». Для нужд общества архитектором П. К. Бергш-трессером в период 1911–1917 гг. произведен ряд внутренних перепланировок, но значительная часть парадных интерьеров сохранилась до наших дней.
После октября 1917 г. страховое общество «Русский Ллойд» национализировали, а здание дворца передали в ведение комиссариата городского хозяйства. В советское время оно несколько раз меняло хозяев. Какое-то время в нем располагалось Главное управление торговли Ленинграда. В 1990-е гг. дворец арендовало АО «Банк Санкт-Петербург», а 1998 г. часть здания арендовала страховая компания РОСНО.
В 1983 г. здание дворца послужило в качестве декорации в художественном многосерийном телефильме «Подросток», снятом по одноименному роману Ф. М. Достоевского (автор сценария и режиссер-постановщик Е. И. Ташков).
В 2000 г. дворец Михаила Михайловича сдан в аренду ООО «Комплекс Адмиралтейская, 8» сроком на 49 лет. Выполняя обременение по договору аренды, ООО провело в реставрацию здания, его внутренних помещений. В июле 2006 г. для посетителей открыли парадные залы, Дубовый кабинет князя и ряд других помещений.
Ну а затем за здание Мало-Михайловского дворца развернулась драка. Для начала Фонд имущества Санкт-Петербурга расторг договор аренды с ООО «Комплекс Адмиралтейская, 8» и со второй попытки, в феврале 2011 г., продал здание другой компании, причем всего за 520 млн руб. при начальной стартовой цене 700 млн руб. Продажу чиновники объясняли необходимостью привлечения средств для сохранения здания.
Покупателем стало специально созданное ООО «Дворец Великого князя Михаила Михайловича Романова», аффилированное с бенефициаром ООО «Северо-Западная финансовая группа» (СЗФГ) Александром Бронштейном. ООО «Комплекс Адмиралтейская, 8» подало в арбитражный суд, требуя признать сделку недействительной, но суд во всех трех инстанциях проиграло. Первоначально новый собственник, ООО «Дворец Великого князя Михаила Михайловича Романова», планировал открыть в здании пятизвездочный отель, но в октябре 2013 г. выставил его на продажу по цене 1,3 млрд руб.