Первоначально на этом участке стоял построенный в XVIII в. двухэтажный дом. Насчет его первых владельцев ясности нет. Некоторые исследователи считают, что именно здесь жил богатый немец Шустер, который разорился. Земляки, желая ему помочь, устроили у него дома клуб, а Шустера определили распорядителем. Сначала клуб так и назывался — «Шустер-клуб». Его посетителями могли стать люди разного общественного положения, не дворяне. Поэтому он вскоре стал именоваться «Мещанским клубом». Когда в Петербурге появился еще один аналогичный клуб, то бывший «Шустер-клуб» стал называться «Большим мещанским клубом», а его клон — «Малым мещанским клубом», или «Бюргерским клубом».
Число членов клуба достигало 700 человек. Известный этнограф и путешественник И. Г. Георги в своем «Путеводителе по столичному городу Санкт-Петербургу» писал: «Шестьсот членов различного звания и состояния, начиная от ремесленников до людей подполковничьего чина, заплатив членский взнос в 15 рублей, могут ежедневно читать в клубе „Ведомости“, играть в шашки, шахматы или биллиард, курить табак и пить за умеренную цену. Зимою бывают в клобе два или три бала, на которые приезжают члены с женами и дочерьми, которые столь убраны, благопристойны и вежливы, что чужие оным удивляются».
Однако другие исследователи считают, что «Шустер-клуб» находился в доме № 64 по набережной реки Мойки. Тогда вопрос о первых хозяевах дома № 10 по Адмиралтейскому проспекту остается открытым.
Затем здание купил граф А. И. Стенбок-Фермор. Для нового владельца в 1844 г. его надстроил архитектор А. П. Гемилиан. После этого граф использовал здание в качестве доходного дома.
В браке с Н. А. Яковлевой (правнучкой богатого предпринимателя С. Я. Яковлева-Собакина) у Стенбок-Фермора было четверо детей — Александр, Анастасия (в замужестве Гагарина), Мария (в замужестве Волконская, а затем — Капнист) и Надежда (в замужестве Барятинская). Именно младшей дочери, княгине Н. А. Барятинской, граф оставил доходный дом на Адмиралтейском проспекте после своей смерти в 1852 г.
Судьба княгини, поначалу складывавшаяся счастливо, закончилась трагически.
Получившая хорошее домашнее воспитание, девушка довольно поздно (в возрасте 24 лет) в июне 1869 г. вышла замуж за князя В. А. Барятинского. Князь участвовал в польской кампании 1863 г., в Среднеазиатских походах 1866–1868 гг., в Русско-турецкой войне 1877–1878 гг. Дослужился до генеральского чина. С 1896 г. состоял генерал-адъютантом при вдовствующей императрице Марии Федоровне (супруге Александра III). В браке у Барятинских родилось восемь детей — три сына (Александр, Анатолий и Владимир) и пять дочерей (Мария, умершая в младенчестве Надежда, Анна, Ирина и Елизавета).
После смерти мужа в 1914 г. княгиня состояла статс-дамой при Марии Федоровне и удостоена ордена Святой Екатерины I степени. В 1917 г. она уехала из революционного Петрограда в Крым, где у нее под Ялтой имелась усадьба «Сельбилляр» («Кипарисовая роща») площадью 13,5 десятин (14,7 га). Там она занималась благотворительностью и спасением в смутные годы произведений искусств, многие из которых ныне хранятся в музеях Крыма.
Неподалеку жила и ее патронесса — вдовствующая императрица Мария Федоровна. В 1919 г., незадолго до сдачи генералом бароном П. Н. Врангелем Крымского полуострова наступающей Красной армии, императрица была вывезена на английском военном корабле в Великобританию. Она хотела забрать с собой и княгиню Барятинскую, но та категорически отказалась покидать Россию. Вместе с ней остались ее дочь Ирина с мужем капитан-лейтенантом С. И. Мальцевым, их трое детей (Николай, Мария и Надежда) и отец мужа — генерал И. С. Мальцев. Ирина была беременна.
По доносу некоего А. Григорьева и бывшей горничной М. Новикас княгиня, ее беременная дочь, зять Сергей Мальцев и его отец в декабре 1920 г. арестованы чекистами и расстреляны.
Детей дочери няне М. Г. Шуйской удалось спрятать и затем переправить в Болгарию. 73-летняя Н. А. Барятинская к этому времени самостоятельно почти не передвигалась. Ее доставили к месту расстрела прямо в инвалидном кресле, которое привязали к автомобилю. Расстрелы производились в имении А. Ф. Фролова-Багреева, а тела сбрасывались в водосборный каптаж. Всего там расстреляли около шести тысяч человек.
В 2004 г. потомки Мальцевых-Барятинских собрались в Брюсселе и приняли решение построить на месте расстрела памятную часовню. Спустя два года, осенью 2006 г., часовню освятил митрополит Симферопольский и Крымский Лазарь. Над входом в часовню укреплена Курская Коренная икона Знамения Пресвятой Богородицы.