Левая часть до 1870-х гг. значилась за известным в городе подрядчиком Иваном Полиевктовичем (Петровичем) Дылевым. Начинал он как лепщик — до 1890-х гг. его мастерская располагалась в его же собственном доме, на месте которого ныне разбит сад Андрея Петрова. Там же Иван Полиевктович проживал вместе со своей супругой Марией Николаевной, сыном Алексеем и восемью дочерьми. У Дылина землю покупает рижский купец Эрнест Шпринг, а после его кончины собственницей значится его вдова — О. К. Шпринг.
Правая часть участка принадлежала каретному фабриканту, с 1866 г. обслуживавшему экипажи Императорского двора, Карлу Карловичу Неллису. Этот подданный датской короны совместно с отцом, Карлом Матвеевичем, владел большой экипажной фабрикой в Эртелевом переулке.
В 1876 г. фабрика К. К. Неллиса объединилась с каретной мастерской инженера П. А. Фрезе, в результате чего возникла новая компания «Неллис и Фрезе» («Фрезе и Кº»). Именно эта фирма выпустила в 1896 г. первый в России автомобиль. Участок Неллиса в начале XX столетия (до 1905 г.) покупает супруга горного инженера и предпринимателя Алексея Михайловича Горяйнова — Мария Николаевна. Объединив два участка, страховая компания начинает в 1912 г. строительство дома на 250 квартир с гаражами для автомобилей на первом этаже. Строительные и отделочные работы завершаются уже в 1914 г.
Наружные стены постройки облицованы прочным и практичным шведским горшечным камнем, из этого же материала выполнены и детали отделки. Фасады по Каменноостровскому проспекту выделены ризалитами и украшены колоннадами на уровне первых двух этажей, скульптурой (грифоны, Меркурий и Фортуна) и растительными орнаментами вокруг оконных и дверных проемов. Центральная часть комплекса с часами (утрачены), расположенная в глубине курдонера, выделена ризалитом — ее венчает невысокий купол. Парадный двор с круглым фонтаном отделен от проспекта колоннадой из дорических колонн красного гангутского гранита. Ее верхняя часть решена в виде двух открытых террас, огражденных витой чугунной решеткой. Кроме этого двора, на территории комплекса есть несколько дворов-колодцев и открытых дворов, отгороженных каменной оградой.
В дореволюционное время в доме размещалось правление известного всему городу акционерного общества «Строитель» с капиталом 1,5 миллиона рублей. Основателем компании в 1898 г. стал инженер Георгий Абрамович Бернштейн, владелец лесоперерабатывающего завода и фирмы по торговле строительными машинами. Кроме непосредственного руководства АО «Строитель», он являлся директором Санкт-Петербургского строительного общества и членом правления Финляндского легкого пароходства.
В 1918 г. Петроградский районный совет принял постановление о передаче здания под жилье работников Советов. В доме жили в разные периоды весьма колоритные фигуры, например такие, как председатель Петроградского совета Григорий Евсеевич Зиновьев (1924–1926 гг.) и первый секретарь Ленинградского губкома ВКП(б) Сергей Миронович Киров (1926–1934 гг.).
Знаменитый революционер Зиновьев, настоящая фамилия которого Радомысльский, встал во главе Петрограда сразу после захвата власти большевиками. Кроме этого, партия направила его на работу в Исполком Коммунистического Интернационала, председателем (его там звали вождем) которого он оставался до 1926 г. В 1922 г. Григорий Евсеевич предложил на пост Генерального секретаря ВКП(б) кандидатуру Сталина, вместе с которым он боролся против возросшего влияния Л. Д. Троцкого. После отстранения от должности председателя Ленсовета в 1926 г., а заодно и от руководства Коминтерном Зиновьев потерял право занимать и элитную жилплощадь в доме Бенуа.
В 1926 г. в квартиру № 20 въехал другой исторический персонаж — Киров, фамилия которого по рождению Костриков. «Мальчик из Уржума» участвовал в революционном движении с 18-летнего возраста, но не в столице, а в Томске, Иркутске и Владикавказе. Партийная карьера Кирова (псевдоним он взял в 1912 г.) пошла в гору в 1920 г., когда его выбирают в Кавказское бюро ЦК РКП(б). В годы Гражданской войны наш герой усиленно борется с контрреволюцией, в основном расстреливая рабочие митинги и крестные ходы прихожан, как, например, 24 мая 1919 г. в Астрахани. Киров лично руководил арестом и расстрелом астраханского митрополита Митрофана и епископа Леонтия летом того же года. До приезда в Ленинград он в основном занимается делами большевиков в Азербайджане и Грузии. В нашем городе он появляется в январе 1926 г. — Кирова избирают первым секретарем Ленинградского обкома и горкома ВКП(б), кандидатом в члены Центрального комитета. Основная цель назначения Кирова — изгнание из рядов партии сторонников Г. Е. Зиновьева, отставленного от руководящих постов.