В состав Обуховской больницы входил и так называемый Дом призрений для умалишенных. Это было первое в Петербурге, да и во всей России учреждение подобного рода. Первоначально Дом призрения был выкрашен в традиционный для тогдашнего Петербурга желто-песочный цвет. Но именно он стал решающим признаком для фольклорного названия этого богоугодного заведения — «Желтый дом». Очень скоро так стали называть вообще все сумасшедшие дома. Достаточно вспомнить стихотворение А. Ф. Воейкова «Дом умалишенных»:
Согласно одной из петербургских легенд, знаменитый лесковский Левша умер в Обуховской больнице, «Обуховке», или «Обители скорби», как называли эту больницу сострадательные петербуржцы. По другой легенде, Пушкин неоднократно бывал в Обуховской больнице, навещая некого знакомого офицера, помешавшегося на игре в карты. Будто бы именно в стенах этого «Желтого дома» родился замысел «Пиковой дамы», по крайней мере отчасти, поскольку на этот счет есть и другие легенды. Но уж его драматический эпилог — точно: «Герман сошел с ума. Он сидит в Обуховской больнице в 17-м нумере, не отвечает ни на какие вопросы и бормочет необыкновенно скоро: „Тройка, семерка, туз! Тройка, семерка, туз!..“».
Несколько позже в обществе была понята абсурдность совместного содержания не опасных для окружающих нервнобольных с несчастными умалишенными. Больницы стали разделять. Так в первой половине XIX века по инициативе императрицы Марии Федоровны в Ульянку из Обуховской городской больницы был переведен Дом призрения умалишенных. Клиника разместилась на Петергофской дороге, ныне проспект Стачек, 158, на бывшей даче Г. А. Потемкина, перестроенной для этого архитекторами Д. Квадри и П. С. Плавовым. Новая лечебница носила название «Больница Всех Скорбящих», по одноименной церкви, возведенной в 1832 году по проекту Доменико Квадри. Городской фольклор с завидной оперативностью откорректировал известную идиому «Отправить в желтый дом». Теперь шутливая угроза принудительного лечения выглядела иначе: «Отправить на одиннадцатую версту ко всем скорбящим». Иногда в литературе встречается вариант: «На тринадцатую версту». Видимо, появление этого варианта пришлось на время переноса границы города с Фонтанки к Обводному каналу или от последнего к Нарвским воротам, что в данном случае принципиального значения не имеет. Оба варианта относятся к одному и тому же объекту городского фольклора.
В 1920-х годах больнице присваивается имя прославленного швейцарского психиатра Огюста Фореля, после чего весь район вокруг больницы в фольклоре стал называться «Форели». И тут началась, что называется, новая мифологизация. Весь район вокруг больницы Фореля стал называться «Форели». При этом рассказывали о речке, которая славилась форелью, о домике, в котором жила крестьянка Ульяна, «добро варившая уху», о рыбалке, на которую съезжалась петербургская знать, и ни слова о знаменитом психиатре и невропатологе, имя которого, фонетически совпадающее с названием царской рыбы, носила больница.
Во время последней войны больница Всех Скорбящих была уничтожена фашистами. Вместе со всеми ее обитателями. В 1950-х годах в восстановленном здании больницы разместился Дом культуры «Кировец».
Со временем и понятие «Желтый дом» стало нарицательным. Например, здание Кораблестроительного института, часть которого занимает заводоуправление судостроительного предприятия «Адмиралтейские верфи», в народе называется «Желтый дом». И, как утверждают сами заводчане, не только потому, что его стены окрашены в традиционные классические желтые тона. «Желтым домом» в народе назывался и Смольный, в те времена, когда в его помещениях находился Ленинградский обком КПСС.
27 ноября 1718 года в Петербурге состоялось первое, введенное Петром I для отдыха и развлечений, собрание высшей петербургской знати. Такие собрания, названные в России по-французски «ассамблеями», в отличие от процветавших до того заседаний пресловутого петровского «всепьянейшего собора», где ничего, кроме пьянства, обжорства и беспутства, не происходило, наряду с умеренными развлечениями предполагали и деловое общение. Впервые в России на такого рода собрания были допущены женщины. На ассамблеях учились танцевать и вести светские беседы, играть в застольные игры и демонстрировать друг перед другом праздничные одежды.