История застройки участка, на котором находится особняк номер 28 по набережной и номер 27 по Галерной улице, восходит к 1720-м годам, когда первый его владелец, Иван Полянский, обосновался здесь. В конце 1730-х годов дом был записан на его сына, Александра Полянского. Известно, что строение было каменное, на подвалах. В Академии художеств сохранился чертеж этого здания. Оно двухэтажное, с высоким крыльцом и покатой крышей. Фасад его мало чем отличается от «образцового» дома для «именитых», одобренного и принятого тогда к строительству.
Сын первого владельца дома — Александр Полянский
Александр Иванович Полянский (полковник и статский советник) был фигурой характерной для XVIII века: богат, расточителен, в меру добр, известен в петербургских кругах как страстный театрал. В старости он никуда не выезжал, кроме театра, который посещал ежедневно. Зрителем был чрезвычайно активным: столь живо и непосредственно воспринимал происходящее на сцене, что невольно заставлял всю публику реагировать не на игру актеров, а на его забавные реплики. Случалось, что некоторые приезжали в театр лишь за тем, чтобы посмотреть на Полянского. Вот как описал один из таких театральных эпизодов С. П. Жихарев: «Во все продолжение спектакля один старичок, седой как лунь, сидевший в первом ряду кресел, обращал на себя беспрерывное внимание участием, которое громогласно изъявлял к действующим лицам. Покажется ли на сцене Рыкалов, и вот старичок заговорит: „Вишь какой старый скряга, вот ужо тебе достанется“. Начнет ли свою сцену Прытков, и старичок тотчас же встретит его громким приветствием: „Экой мошенник! экая бестия! вот уж настоящий каторжник!“ При палочных ударах Скапена Жеронту в мешке старичок помирал со смеху, приговаривая: „Дельно ему, дельно; хорошенько его, хорошенько старого скрягу!“ Но при появлении на сцене Болиной, игравшей роль цыганки, выходка старичка произвела общий взрыв необыкновенной веселости и аплодисментов: „Ах, какая хорошенькая! То-то лакомый кусочек! Кому-то ты, матушка, достанешься?“».
Сестра президента двух академий — Елизавета Воронцова
К моменту описываемых событий Александр Иванович жил на Английской набережной в семье сына. Его жена, графиня Елизавета Романовна Полянская (урожденная Воронцова), умерла в 1792 году. Это была женщина с любопытной судьбой. Родная сестра Екатерины Романовны Воронцовой-Дашковой, она оказалась, по сути, ее врагом. Дело в том, что в юности она была взята ко двору в качестве фрейлины великой княгини Екатерины Алексеевны. Случилось так, что, несмотря на непривлекательную внешность, фрейлина сумела пленить сердце великого князя Петра Федоровича. Став императором, он сделал Елизавету Романовну официальной фавориткой и даже не пытался скрывать перед окружавшими своих чувств к ней. Ходили слухи, что император хотел сослать законную супругу в монастырь и жениться на фрейлине Воронцовой. Современники связывали эти намерения императора с дворцовым переворотом (29 июня 1762 года), который привел к власти Екатерину II.
Если вспомнить, что немалую роль в этих событиях сыграла Екатерина Романовна Воронцова-Дашкова, выступившая союзницей Екатерины Алексеевны (будущей императрицы Екатерины II), то становится понятной ее неприязнь к сестре.
После ареста Петра III Елизавета Романовна была отправлена в ссылку в подмосковное имение своего отца. И только выйдя замуж за Александра Ивановича Полянского она смогла вернуться в Петербург, где и стала хозяйкой дома на Английской набережной. В нем и жила до самой смерти.
После бурно проведенной молодости графиня не привлекала к себе внимания, не появлялась при дворе, но тем не менее «виделась даже с близким другом Екатерины графиней А. С. Протасовой. Письма ее к брату, графу С. Р. Воронцову, мало уступают французскому слогу ее ученой сестры, княгини Е. Р. Дашковой, и полны подробностями о светских и придворных происшествиях».
У супругов Полянских было двое детей. Дочь Анна родилась в 1766 году; впоследствии она вышла замуж за барона д'Оггера. Сын Александр родился в 1774 году. Шести лет он был записан в лейб-гвардии Преображенский полк, восьми — произведен в сержанты. В 1784 году стал вахмистром в лейб-гвардии Конном полку, а в 1796-м — ротмистром. Уйдя с военной службы, был действительным камергером, служил в Министерстве юстиции, а затем советником и председателем палаты уголовного суда в Петербурге. В начале XIX века получил чин тайного советника и назначен сенатором Первого отделения Пятого департамента.
В доме Полянских