По другой версии, дом строился для князя Михаила Михайловича Голицына, а Нарышкин купил его в 1772 г.
После его смерти в 1799 г. дом перешел по наследству к Александру Львовичу Нарышкину, сыну покойного, служившему директором Императорских театров. С 1815 г. он много времени проводил за границей, в Европе, а после отставки и вовсе уехал в Париж, где прожил остаток жизни. Дом на Исаакиевской площади стал ему не нужен, и он продал его.
Со сменой владельца в здании прошла реконструкция, автор которой неизвестен, хотя есть предположение, что это Л. Руска. Никаких иных переделок в доме в дальнейшем не было, лишь в 1872 г. архитектор И. И. Цим перестроил правую часть здания.
Главный фасад трехэтажного особняка выходит на площадь и оформлен небольшим портиком с двумя парами мраморных колонн и с балконом в верхней части. В районе балкона и полуциркульного окна третьего этажа можно видеть декоративные барельефные панно с изящным рисунком. Внутри здания частично сохранилась отделка первой четверти XIX в., а большую историческую ценность представляют интерьер Большого мраморного зала с колоннами и сохранившиеся в некоторых помещениях изразцовые печи.
В марте 1820 г. на верхнем этаже, в зале с хорами, освятили домовую церковь Воскресения Христова. В храме установили алтарь из красного дерева с бронзовыми накладками. В 1875–1876 гг. художник Д. Н. Мартынов написал для него новые иконы, запрестольный образ и плащаницу. Церковь в доме закрыта в 1918 г., и полностью ликвидирована спустя восемь лет.
Особняк Мятлевых был известен в Санкт-Петербурге 1830-х гг. музыкальным салоном, гостями которого являлись И. А. Крылов, В. А. Жуковский, А. С. Пушкин и многие другие известные литераторы. Вдова директора Ассигнационного банка, который умер в 1833 г., статс-дама Прасковья Ивановна Мятлева владела домом до 1859 г., затем он перешел наследникам. Последним владельцем здания, судя по всему, стал генерал Евгений Васильевич Богданович, знаменитый публицист начала XX столетия.
В 1875–1876 гг. квартиру № 12 снимала семья экономиста Николая Федоровича Анненского, с которым проживал его младший брат, Иннокентий Федорович, будущий драматург, переводчик и критик. Он готовился к поступлению на историко-филологический факультет Университета, и старший брат помогал ему в этом.
Евгений Васильевич и Александра Викторовна Богдановичи более 30 лет держали в доме салон, куда приглашали для ведения дискуссий на политические темы. Сам генерал придерживался крайне правых монархических взглядов. О завтраках у Богдановичей вспоминал общественный деятель Лев Александрович Тихомиров: «Желающие посетить генерала должны были являться к завтраку. Иногда приглашали на обед. <…> Но все, признанные в качестве „знакомых“, могли без всяких церемоний являться к завтраку. К этому времени Евгений Васильевич уже обязан был являться в роли радушного хозяина, точно так же, как и Александра Викторовна, встречать гостей. Гости обычно сходились в гостиную, где в кресле восседал Богданович».
О салоне писал и генерал Владимир Федорович Джунковский: «У него всегда за столом были накрыты четыре-пять приборов для гостей. Это все знали. Завтрак бывал всегда очень скромный, бутылки белого и красного вина стояли на столе. За столом, несмотря на свою слепоту, он удивительно хорошо ориентировался, указывал всем места, поддерживал общий разговор, беспокоился, достаточно ли все едят, был на редкость радушный хозяин».
Генерала и общественного деятеля Е. В. Богдановича не стало 1 сентября 1914 г.
На фасаде здания установлена мемориальная доска со следующими словами: «В этом доме с 8 октября 1773 по 5 марта 1774 жил великий французский просветитель Дени Дидро». Повторяется этот текст и на французском языке.
На другой стене дома можно видеть еще одну мемориальную доску, текст которой гласит: «Художник Казимир Малевич, 1878–1935. Жил и умер в этом доме».
Известно, что после 1918 г. в доме Мятлевых размещался музей старого Петербурга, затем выставлялась коллекция живописи — работал Музей художественной культуры, участником которого и был Казимир Северинович.
Музей просуществовал до 1926 г., и власти его закрыли, передав все фонды в Государственный институт истории искусств (ныне — Российский институт истории искусств), располагавшийся рядом, в Зубовском особняке (Исаакиевская пл., 5). Малевич продолжил работу в ГИИИ, пока в 1929 г. его не уволили и оттуда. В 1930 г. художника арестовали — чекисты предъявили ему обвинение в шпионаже в пользу Германии. Дело К. С. Малевича, закрытое в итоге, вел Владимир Александрович Кишкин, расстрелянный в 1938 г. как террорист и повстанец.