Но управлял этой торговой империей Г. Г. Елисеев только до 1913 г. — ему тогда не исполнилось и пятидесяти лет. Все изменила случайная встреча с 30-летней женой купца Василия Васильевича Васильева Верой Федоровной и, как результат, страстная любовь знаменитого торговца. Связь Г. Г. Елисеева с В. Ф. Васильевой становится известной в семье предпринимателя — следуют скандалы и объяснения с женой Марией Андреевной. Елисеев арендует для новой пассии 12-комнатную квартиру, любовники открыто появляются вдвоем в свете. Он просит Марию Андреевну согласиться на развод, причем большую часть имущества Григорий Григорьевич обещает оставить покинутой семье.
М. А. Елисеева
Но Елисеева отвечает отказом, а их дети — Григорий, Сергей, Николай Александр, Петр — принимают сторону матери. На праздновании 100-летия торгового товарищества в 1913 г., кроме 13-летней дочери Марии, не присутствовал никто из детей, как не было там и законной жены Марии Андреевны, пытавшейся несколько раз покончить жизнь самоубийством. Первый раз она бросилась в Неву, но ее вытащили из воды и успели спасти. Второй раз несчастная и покинутая женщина вскрыла себе вены, но врачи остановили кровотечение, и вновь Елисеева осталась жива. После этих случаев за ней постоянно следили, но это не помогло — в октябре 1914 г. ее нашли повесившейся на полотенцах в своей комнате.
Сыновья не сообщили отцу о смерти Марии Андреевны Елисеевой, но он узнал об этом от прислуги. И не пришел на похороны своей жены, и не прислал венка… Но семейная драма на этом не закончилась — точку в ней поставили дети. Сыновья отказались от наследства, потомственного дворянства и самого Григория Григорьевича Елисеева. Не простили его и внуки.
Через полмесяца после похорон Елисеев женился на новой возлюбленной, оставил все многочисленные дела, и новобрачные навсегда уехали из России во Францию. Они поселились в Париже, где пережили Вторую мировую войну и скончались в конце 1940-х гг., причем Григорий Григорьевич пережил более молодую Веру Федоровну на три года.
Сохранившееся здание торгового дома на Невском проспекте и поныне остается настоящим памятником знаменитому торговому дому «Братьев Елисеевых», напоминая о золотых временах русского купечества.
Роскошь отделки фасадов и интерьеров говорила не только о могуществе семейного бизнеса Елисеевых, но и играла роль своеобразной витрины, рекламируя товарищество и привлекая покупателей. Собственно, чего и требовал Г. Г. Елисеев от архитектора при обсуждении проекта будущей постройки.
Основной объем здания решен в виде несколько вытянутого вдоль Малой Садовой улицы куба, в основу которого зодчий заложил каркас, состоящий из металлических балок перекрытий и мощных каменных пилонов. Фасад, выходящий на Невский проспект, выполнен в виде гигантской арки. Фасад по Малой Садовой улице решен иначе — пространство между пилонами здесь также заполнено сплошным остеклением, но оно прямоугольное и имеет меньшую площадь, а соответственно, более традиционный вид. Дополнительным украшением служат витражи первого этажа и сложная кровля. Гранитная рустованная облицовка фасадов дома торгового товарищества выполнена из розового камня Восточно-Финляндским гранитным акционерным обществом.
Как и многие постройки в стиле модерн, здание декорировано скульптурой и металлическим декором весьма причудливой и броской формы. В частности, интересно обрамление витражей, рассматривать которые нужно, конечно, изнутри, из главного торгового зала, отделке которого можно, в свою очередь, посвятить целую книгу. Там даже прилавки и кассы были произведением искусства, не говоря уже о светильниках, зеркалах и рельефах.
Характерное для Петербурга скульптурное убранство фасадов для дома Елисеевых выполнил мастер А. Г. Адамсон. Со стороны Невского проспекта на консоли высится фигура древнеримского бога Меркурия — покровителя торговли, с характерными для него атрибутами, а именно с примиряющим всех жезлом кадуцеем, крылатым шлемом и талариями (крылатыми сандалиями). В Древней Греции этот бог именовался Гермесом.
У правой ноги скульптуры можно видеть якорь и фрукты, левая нога стоит на тюке, перевязываемом путти. Все это связано с историей торгового дома Елисеевых, морскими перевозками товаров из разных стран. На постаменте в гирляндах славы обозначен год открытия магазина: «1903». Скульптура Меркурия на доме торгового товарищества «Братья Елисеевы» в аллегорической форме представляет торговлю.
На том же на фасаде, с другой стороны окна-витрины, расположена вторая аллегорическая фигура, олицетворяющая промышленность. Мастер в фартуке держит модель судна, в ногах у него путти сидит на мануфактуре — он занят изобретением. Фоном мастеру служат детали паровой машины. Интересно, что если в первом случае за образец взята фигура древнего бога, то во втором зодчий использовал образ русского рабочего, в характерной одежде и с типичным внешним видом.