Тогда князь решил устроить лотерею. Для этого он напечатал миллион билетов ценой в один рубль. Владельцем здания со всем содержимым мог стать кто-то один, кто купил бы счастливый рублевый билет. Узнав об этом, император купил все билеты. Говорят, что он вызвал к себе А. Я. Лобанова-Ростовского и, не скрывая недовольства, сказал ему: «Не княжеское это дело заниматься коммерцией». За библиотеку, поступившую в хранилище Главного штаба, Николай I назначил князю пожизненную пенсию. Большое количество собранных Лобановым-Ростовским исторических документов и изображений королевы передано в Эрмитаж, от которого князь получил за это пожизненно почетную пенсию. Много книг он передал в Публичную библиотеку, избравшую князя своим почетным членом. Частыми гостями в петербургском доме Лобанова-Ростовского были деятели культуры и искусства.
В 1848 г. князь Лобанов-Ростовский скончался и похоронен на Лазаревском кладбище Александро-Невской лавры.
Дом на Адмиралтейском проспекте император передал в ведение Военного министерства. В 1829 г. архитектор Э. Х. Анерт перестраивает здание под нужды ведомства и, в частности, надстраивает дворовый флигель.
Ранее Военная коллегия (предшественник Военного министерства) располагалась в бывшем дворце графа З. Г. Чернышева, выкупленном в казну в 1795 г. Позднее, в 1839–1844 гг., дворец Воронцова снесли, и на его месте архитектор А. И. Штакеншнейдер построил новый дворец для Марии Николаевны, дочери Николая I (Мариинский дворец). А для нужд Военной коллегии в 1824 г. арендовали нижние два этажа в доме Лобанова-Ростовского. Стоимость аренды составляла 63 тыс. руб. в год.
Как и другие первые министерства Российской империи, Военное министерство (в 1802–1808 гг. — Министерство военно-сухопутных сил) создано специальным манифестом Александра I в 1802 г. Первоначально структура министерства включала в себя Военный совет, Канцелярию, семь департаментов (артиллерийский, инженерный, инспекторский, провиантский, комиссариатский, медицинский, аудиторский), военно-учетный комитет, военно-топографическое бюро и военную типографию. Военный совет представлял собой ту же Военную коллегию, вошедшую в состав министерства без изменений.
Согласно Положению 1869 г., помимо Военного совета и Канцелярии в структуру министерства вошли Главный штаб, Главный военный суд, Императорская главная квартира, пять Главных управлений (военное учебное, военное кодификационное, по устройству и образованию войск, военное госпитальное и военное тюремное), главное интендантское, военно-медицинское, военно-судное, артиллерийское и инженерное управления, управление казачьих войск и целый ряд комитетов.
Непосредственно в здании на Адмиралтейском проспекте располагались Военный совет, Канцелярия и Главные управления. Тут же находилась казенная квартира военного министра. Всего до «милютинской» реформы 1869 г. на посту военного министра Российской империи сменилось 11 человек. Затем, до 1917 г., военным министром было еще 8 человек.
Первый военный министр — граф С. В. Вязьмитинов, много сделавший для реорганизации военного управления и повышения боевой готовности русской армии. Именно при нем введена дивизионная система, просуществовавшая в России более 200 лет, и создано земское ополчение. Одной из причин его отставки в 1808 г. явились крупные злоупотребления интендантских чиновников.
Военные министры Российской империи в период 1802–1881 гг.:
1802–1808 гг. — граф С. В. Вязьмитинов;
1808–1810 гг. — граф А. А. Аракчеев;
1810–1812 гг. — генерал-фельдмаршал, князь М. Б. Барклай-де-Толли;
1812–1815 гг. — князь А. И. Горчаков 1-й;
1815–1819 гг. — генерал П. П. Коновницын;
1819–1823 гг. — генерал, барон П. И. Меллер-Закомельский;
1823–1827 гг. — генерал, граф А. И. Татищев;
1827–1852 гг. — генерал, князь А. И. Чернышев;
1852–1856 гг. — генерал, князь В. А. Долгоруков;
1856–1861 гг. — генерал Н. О. Сухозанет;
1861–1881 гг. — генерал-фельдмаршал, граф Д. А. Милютин.
Последний военный министр Российской империи — генерал М. А. Беляев, на этом посту он пробыл менее чем два месяца — с января до марта 1917 г. До этого генерал был начальником Главного штаба и зарекомендовал себя как человек исполнительный, но лишенный лидерских качеств. Г. И. Шавельский в своей книге «Воспоминания последнего протопресвитера Русской армии и флота», изданной в 1954 г. в Нью-Йорке, охарактеризовал Беляева следующим образом: «Все считали его трудолюбивым, исполнительным, аккуратным, но лишенным Божьего дара, острого и широкого кругозора работником, часто мелочным и докучливым начальником. Таким он остался и до последнего времени. В военные министры он, конечно, не годился».
Военные министры Российской империи в период 1881–1917 гг.:
1881–1898 гг. — генерал П. С. Ванновский;
1898–1904 гг. — генерал А. Н. Куропаткин;
1904–1905 гг. — генерал В. В. Сахаров;
1905–1909 гг. — генерал А. Ф. Редигер;
1909–1915 гг. — генерал В. А. Сухомлинов;