В 1833 г. Д. О. Баранова избрали, по рекомендации А. С. Шишкова, в Российскую академию, а через год сенатор и поэт умирает, и дом переходит к новым владельцам — семье Бутримовых. Из них последней домовладелицей числится Вера Осиповна Бутримова, после смерти которой в 1853 г. дом вновь меняет владельца, которым становится генерал-лейтенант граф Георгий Федорович Менгден, потомок дворянского рода из Лифляндии. Представители этой фамилии, впервые появившейся в Вестфалии в XV в., верой и правдой служили русскому престолу с середины XVI столетия. В частности, Юрий Андреевич Менгден — первый полковник Преображенского полка.
В 1863 г. по заказу домовладельца архитектор А. И. Тихобразов полностью реконструировал постройку XVIII в., в результате чего дом стал пятиэтажным.
При Г. Ф. Менгдене в доме, кроме квартир, располагались книжный магазин А. И. Давыдова и редакция журнала «Военный сборник».
Военное министерство Российской империи начало издавать журнал в 1858 г. по предложению русского историка профессора Императорской Военной академии Дмитрия Алексеевича Милютина. Содействие в продвижении этой идеи оказали командир Гвардейского корпуса генерал-адъютант Николай Федорович Плаутин и начальник штаба Гвардейского корпуса генерал-адъютант граф Эдуард Трофимович Баранов. Кстати, самого Милютина в 1861 г. государь назначил военным министром, и в этой должности он оставался на протяжении 20 лет.
Г. Ф. Менгде
Новое издание состояло из четырех разделов: официального, научного, литературного и, как тогда писали, смеси, то есть коротких сообщений на различные темы. В официальной части журнала публиковались документы за подписью императора, приказы военного министра и другие официальные документы государственных структур Империи. Отдел, посвященный военным наукам, знакомил читателя с разработками в тактике ведения боя, новыми видами вооружения, в основном в артиллерии, фортификацией и административным управлением армейскими подразделениями. Два оставшихся раздела — литературный и смесь — говорят сами за себя, а их присутствие в столь специализированном журнале связано с желанием издателей повысить популярность нового издания. Впрочем, с распространением «Военного сборника» проблем не было, так как министерство обязало военных подписываться на журнал. Стоит отметить, что литературной частью «Военного сборника» заведовал публицист Николай Гаврилович Чернышевский, а главным редактором (с 1859 г.) назначили известного военного писателя генерал-лейтенанта Петра Кононовича Менькова.
Е. П. Мейендорф
Последней владелицей дома перед продажей и перестройкой его для купцов Елисеевых стала баронесса Елена Павловна Мейендорф, дочь П. А. Шувалова и супруга барона генерал-майора Феофила Егоровича Мейендорфа.
К Елисеевым участок с домом перешел в собственность в 1898 г. — и буквально сразу началась реконструкция корпуса, расположенного на Малой Садовой улице, завершившаяся к 1900 г. В 1902 г. гражданский инженер Г. В. Барановский приступил к перестройке здания по Невскому проспекту, в результате чего город получил превосходный образец архитектуры модерна и новую достопримечательность, причем интересную как снаружи, так и изнутри.
Конкретным покупателем дома у Е. П. Мейендорф стал Григорий Григорьевич Елисеев, возглавивший семейное дело в 1893 г. Из всех Елисеевых именно он обеспечил расцвет семейной фирме, реорганизованной через три года в торговое товарищество «Братья Елисеевы» с капиталом 3 миллиона рублей.
Г. Г. Елисеев
Начало этой купеческой династии дал крестьянин Ярославской губернии Петр Елисеевич Елисеев, торговавший в столице Российской империи фруктами с 1813 г. После его кончины дело продолжили вдова и дети, а усердие и предприимчивость сделали семью богатой и, в итоге, знаменитой. Сыновья Степан Петрович и Григорий Петрович, кроме торговли, занялись финансовыми операциями и участвовали в создании и работе Санкт-Петербургского учетного и ссудного банка, Санкт-Петербургского частного коммерческого банка и Русского для внешней торговли банка (через товарищество «Братья Елисеевы»). Григорий Петрович входил в состав Петербургского биржевого комитета. Внуки П. Е. Елисеева так же достойно продолжали торговое и финансовое дело: Петр Степанович стал известным финансистом, как и Александр Григорьевич. Но возглавил торговую фирму и сосредоточил в своих руках общее управление всеми активами семьи его брат — Григорий Григорьевич Елисеев.
Кроме торговли вином и колониальными товарами, товарищество Елисеевых занималось и производством многих продуктов. Шоколадный цех выпускал шоколад и конфеты, а так же варенья и мармелады, соленую рыбу и икру производил отдельный цех, даже кофе Елисеевы жарили сами, добиваясь наиболее любимой покупателями степени обжарки зерен. Кроме собственно магазинов, товарищество владело целой сетью складов и морозильников, винными погребами и собственным транспортом.