Александр Александрович Полянский был женат на дочери близкого императорскому кругу графа Ивана Степановича Рибопьера, Елизавете. В июле 1803 года Полянские, по рекомендации Е. Р. Дашковой, принимали в своем доме сестер-ирландок Марту и Кетрин Вильмот, ставших широко известными благодаря своим письмам из России. Сестры некоторое время жили в этом гостеприимном доме на Английской набережной. В одном из писем Марта описала обстановку, порядки и уклад заведенный в доме: «В субботу я была представлена госпоже Полянской; ее муж — племянник Дашковой. Живут они в огромном, как дворец, доме, и помимо ливрейного у них несколько десятков лакеев, попадающихся на каждом шагу. Чтобы избавить господ от труда отворять и затворять двери, возле каждой комнаты сидит слуга… Госпожа Полянская приняла меня исключительно любезно и показала мои апартаменты, состоящие из очень элегантной гардеробной, меблированной диванами и стульями, обитыми красной кожей; тут имеются фортепьяно, арфа, большое зеркало с приставным столиком, уставленным для красоты великолепными чашками и блюдцами из китайского фарфора, изящными часами (на французский манер), статуи на пьедесталах, вазы; есть икона, или бог, которому могу помолиться, если пожелаю. Окна выходят на красивую и широкую реку. Течение Невы сильное, отливов не бывает, поэтому она всегда полноводна, а многочисленные суда и лодки очень оживляют вид. Рисунок на обоях, которыми оклеена моя спальня, изображает заросли сирени. Когда я ложусь спать, жалюзи убираются, оконные ставни закрываются, и в запертой комнате я похожа на птичку в клетке. Сплю на софе; к моему удивлению, мне дали только одно стеганое одеяло, так что шерстяные английские одеяла сослужили мне хорошую службу. Госпожа Полянская настояла, чтобы в комнате ночевала ее горничная, уверяя, что так мне будет спокойнее, и я согласилась… С госпожой Полянской беседовали мы только по-французски, и я могу вас заверить, что я весьма в этом преуспела. Хозяйка провела меня через анфиладу огромных, просторных комнат, числом не менее десяти, и мы очутились в ее гардеробной, которая похожа на мою. Болтали о любви, вкусах, чувствах… В три часа она представила меня мужу, а за обедом к нам присоединился его отец. Этот почтенный джентльмен не говорит по-французски, так что наша беседа выглядела довольно забавно. Я схватывала одно-два слова, остальное высказывалось жестами, кое-что переводила госпожа Полянская».
Марта Вильмот не могла налюбоваться на открывающийся ей вид на Неву из окна своей спальни. В одном из писем своей матери она писала: «Никогда не видела ничего прекраснее Невы — река полноводная, чистая, обычно спокойная. Сейчас (мне видно в окно) водную гладь оживляют 10–12 хорошеньких нарядных гребных лодок, половина которых под балдахинами с золотой бахромой. Движения гребцов удивительно согласны, после каждого удара весел выдерживается эффектная пауза, при этом гребцы поют, мелодии их песен, как говорят, не похожи на напевы ни одного народа».
У младших Полянских не было детей, и после смерти отца и сына Полянских в 1818 году дом отошел к их дальним родственникам, Всеволожским.
Никита Всеволожский — новый хозяин особняка
Так появился новый хозяин — Никита Всеволодович Всеволожский.
Чиновник Коллегии иностранных дел (позднее камергер и действительный статский советник) Н. В. Всеволожский в свое время прославился в Петербурге как каламбурист, острослов и завзятый гастроном. К тому же именно он был одним из основателей знаменитого литературно-театрального общества «Зеленая лампа». Это в его квартире на втором этаже большого дома на углу Екатерининского канала и Театральной площади весной 1819 года стали собираться молодые «ламписты», чтобы почитать и обсудить свои литературные сочинения, свободно, без оглядки поговорить о происходящем в России, а иной раз и «пошалить». Часто бывал здесь и А. С. Пушкин. Он писал в «Послании к кн. Горчакову» о важности этих собраний:
«„Зеленая лампа“ соединяла свободолюбие и серьезные интересы с атмосферой игры, буйного веселья, демонстративного вызова серьезному миру. Бунтарство, вольнодумство пронизывают связанные с „Зеленой лампой“ стихотворения и письма Пушкина. Однако все они имеют озорной характер…»
Помимо литературных и политических споров, настоящие страсти кипели вокруг театра. Большинство «лампистов» являлось заядлыми театралами, а первыми среди них были Н. В. Всеволожский, П. Б. Мансуров, Д. Н. Барков и примкнувший к ним А. С. Пушкин.