В 1860-х годах в доме на Тверской размещался престижный детский пансион Э.Х. Репмана, от него в начале 1870-х годов здание перешло к Самуилу Малкиелю, поставщику обуви для императорской армии. Коммерции советник, потомственный почетный гражданин, получивший право жить вне черты оседлости, Малкиель разбогател на военных подрядах. Он владел дорогой недвижимостью в обеих столицах. В Москве для переделки дома Волконской он нанял выпускника Императорской художественной академии в Вене архитектора Августа Вебера. В 1874 году фасад здания утратил все приметы «римского палаццо» на Тверской, и в частности классический портик с колоннами. Но роскошный интерьер архитектору все же хватило ума сохранить.
После прогоревшего Малкиеля (подошвы для солдатских сапог оказались сделанными из дешевого и недолговечного сырья) дом пошел по рукам. На первом этаже разместился магазин портного Корпуса, на втором - богатые жильцы. Особняком по очереди владели купцы Носовы, Ланины, Морозовы. Но, бесспорно, наиболее известным купцом - владельцем дома с 1898 года являлся потомственный дворянин Григорий Григорьевич Елисеев (1864-1949), представитель знатной династии Елисеевых, происходившей из крепостных Ярославской губернии.
Дед Григория Елисеева - Петр Елисеевич некогда был садовником в рыбинском имении графа Николая Шереметева, того самого, что женился на крепостной актрисе Прасковье Ковалевой, ставшей Жемчуговой. Так что Елисеевы и Ковалева - одного поля ягоды (да и не Елисеевы они никакие, а Касаткины: Петр Касаткин - так звали садовника). С ягод-то и завязалась вся эта история. Садовник оказался на редкость прытким и деловым. Как-то в году 1812-м, морозною зимою, под Рождество преподнес он своему барину блюдо свежей земляники. Шереметев был ошеломлен: «Откуда взял?! Как?!» Не дождавшись вразумительного ответа, граф объявил садовнику: «Проси чего хочешь за свою землянику!» А тот, не будь дураком, быстро сориентировался: «Хочу - говорит, - Ваше сиятельство, вольную». Шереметев на радостях дал и вольную, и сто рублей в придачу.
Петр Елисеевич, недолго думая, собрал свои неказистые пожитки, прихватил жену и выехал в Петербург. Свое торговое дело он начал на Невском проспекте. Нет, конечно, ста рублей на магазин не хватило. Человек деловой, предприимчивый, он решил покупать оптом заморские фрукты - апельсины - и продавать их поштучно проезжавшим и проходившим мимо него петербуржцам. Вместе с женой они продавали апельсины (по копейке за штуку) с деревянных лотков, умещавшихся на голове. За день можно было выручить целый рубль, а за неделю -наторговать на семь рублей! А что, если продавать апельсины не только с женой, а пристроить к этому делу трех сыновей и младшего брата Гришу? И уже в 1813 году все они были в Петербурге, жили тут же, на Невском, в арендованной для торговли лавке. В том знаменательном году и возникло в столице Товарищество «Братья Елисеевы». Так Петр и Григорий Касаткины решили сохранить память о своем отце - с тех пор и стали они зваться Елисеевыми.
Дела быстро шли в гору. Да и товар для продажи Елисеевы выбрали на редкость удачный -торговать надо тем, чего у нас нет и где конкуренция отсутствует как таковая. Апельсинами и прочими заморскими фруктами торговали уже не сами Елисеевы, а нанятые ими торговцы. Лавки открылись и в других частях города. А Петр Елисеев задумывался над дальнейшим расширением бизнеса: а что, если покупать фрукты не у перекупщиков-оптовиков, а прямо там, где они произрастают? Это какую же прибыль можно получить! Для налаживания международных связей в 1821 году он отправился на остров Мадейру, где перезнакомился с местными виноделами. Как это ему удалось сделать, до сих пор остается загадкой, ибо иностранными языками Елисеев не владел. Тем не менее он быстренько договорился с тамошними виноградарями о поставках вина в Россию.
Надо ли говорить, каков был спрос на колониальные товары, привозимые Елисеевыми из-за границы, особенно на вино? Начав с Мадейры, Елисеевы постепенно объехали всю Европу: Францию, Германию, Италию, Испанию, Португалию, Англию. Вина всех этих стран можно было приобрести в магазине Елисеевых на Васильевском острове. Что же до фруктов - не то что какой-нибудь фейхоа или финик, а даже папайю можно было достать у Елисеевых, превратившихся для петербургских гурманов в поставщика № 1.
Елисеевы завели собственный флот (на нем они добрались до Индии с ее пряностями и приправами), во Франции по-накупили подвалов и погребов, где хранили виноград, предназначавшийся для вывоза в Россию. И кто бы ни стоял во главе фирмы, основным девизом Елисеевых на протяжении нескольких десятилетий был «цена и качество». Все всегда свежее, ни одного гнилого или испортившегося товара, и стоимость приемлемая.
После смерти Петра Елисеева в 1825 году дело возглавил его сын Григорий Петрович, ставший действительным статским советником и гласным Петербургской городской думы, при нем в 1873 и 1874 годах фирма удостоилась золотых медалей на международных выставках в Париже и Лондоне.