Позднее в доме Елагина на Большой Морской разместилась канцелярия военного генерал-губернатора Санкт-Петербурга. Там на казенной квартире поселился герой Отечественной войны 1812 года генерал Михаил Милорадович. Еще в детстве он был зачислен в лейб-гвардии Измайловский полк, а потом принимал участие во многих боевых походах. Особенно отличился он в Итальянском и Швейцарском походах Суворова. Во время перехода через перевал Сен-Готтард солдаты Милорадовича, увидев заваленные снегом отвесные скалы, заколебались. Заметив это, Михаил Андреевич воскликнул: «Посмотрите, как возьмут в плен вашего генерала!» – и, как и Суворов на знаменитой картине, покатился с утеса на спине. Солдаты, обожавшие командира, дружно последовали вслед за ним.
Всегда изящно одетый, щеголеватый и подтянутый, Милорадович под пулями непринужденно раскуривал трубку, весело шутил. Он везде поспевал, никогда не опаздывал, всегда был бодр и энергичен, возбуждая войска личным примером. Раньше всех садился на коня и слезал с него последним. Генералом он стал уже в 38 лет.
Но необыкновенно популярным и знаменитым сделали Милорадовича Отечественная война 1812 года. В Бородинском сражении, действуя в составе армии Барклая-де-Толли, он командовал тремя пехотными корпусами и успешно отбил все атаки французских войск. Через два дня после Бородино Кутузов назначил его начальником арьергарда русских войск. А когда Наполеон был вынужден отступать по разоренной Смоленской дороге, Кутузов поручил Милорадовичу преследование французов, где тот снова отличился.
В Лейпцигской «битве народов» Михаил Андреевич успешно командовал русской гвардией, за что получил потом титул графа. Царь разрешил ему – особая милость для генерала! – носить солдатский Георгиевский крест, сказав: «Носи его, ты – друг солдата!»
Вернувшись в Петербург в 1818 году, Милорадович получил назначение на пост генерал-губернатора. Но, привыкший воевать, он не имел удовлетворения от бюрократической должности градоначальника и заскучал. В хозяйственные дела не вникал, а наполнялся энергией, лишь когда случалось что-то необычное. Поводом проявить себя для него стал мятеж декабристов в 1825 году. Милорадович не захотел вести своих солдат против восставших, не желая проливать русскую кровь.
«Пойду сам!» – сказал отважный генерал и один поскакал на Сенатскую площадь. Там, выехав перед строем замерших в каре солдат, Милорадович поднял золотой клинок и воскликнул: «Скажите, кто из вас был со мной под Кульмом, Лютценом, Бауценом?» – никто в строю не пошевелился. «Слава Богу! – воскликнул Милорадович, – здесь нет ни одного русского солдата!»
В рядах войск появилось замешательство: солдаты поняли, что предают боевого генерала. Но в этот момент прозвучал роковой выстрел отставного поручика Каховского, и смертельно раненный генерал-губернатор повалился на снег.
Оставшемуся невредимым в многочисленных сражениях – в них он не получил ни одного ранения, Милорадовичу коварной судьбой было суждено умереть от русской пули. Но, даже умирая, славный генерал не терял присутствия духа и шутил. «Слава Богу, – сказал он стоявшим у его смертного одра, – что эта пуля не ружейная, не солдатская…» Убийство героя 1812 года вызвало в Петербурге возмущение.
«Какая сволочь! – писал поэт Жуковский о случившемся. – Презренные злодеи, которые хотели с такой безумной свирепостью зарезать Россию!»
При жизни генерал славился хлебосольством и расточительностью. «Не понимаю, какой интерес жить без долгов!» – шутил он. Однако после смерти проданного имения Милорадовичаедва хватило на их покрытие…
После Милорадовича в доме на Большой Морской поселился другой генерал-губернатор, Павел Голенищев-Кутузов, прославившийся тем, что именно при нем застенок для арестантов в Петербурге стали именовать «кутузкой». Бывал тогда в этом доме и юный Пушкин, которому пришлось оправдываться перед генерал-губернатором за свою шаловливую поэму «Гаврилиада».
С 1870 года указом императора дом на Морской был отдан в ведение Императорского общества поощрения художеств. Среди его «клиентов» были такие знаменитости, как Брюллов, Верещагин, Клодт, Крамской, Тарас Шевченко и другие. В более поздние времена секретарем Общества был Николай Рерих.
В советские времена домом продолжали пользоваться служители муз. Там прошла первая выставка художников революционной России.
Художники собираются в этом знаменитом доме и поныне. В особняке на Большой Морской, 38 размещается Санкт-Петербургский союз художников, постоянно проводятся выставки и собрания живописцев.