В 1899 г. Михневич оставил завещание, по которому две трети участка он отдавал в пользование Общества Литфонда на устройство «общежития для нуждающихся литераторов, впавших в инвалидность». По завещанию инженера-путейца, миллионера В. Ф. Голубева, в 1904 г. Литфонд получил 150 тысяч рублей. После смерти Голубева его сыновья пожертвовали в Литфонд деньги на Общежитие русских писателей. Комитет Литфонда во главе с его председателем поэтом П. И. Вейнбергом решил выкупить весь участок. Было решено построить Дом писателей, присвоив ему имя В. Ф. Голубева. 14 июня 1904 г. дом был заложен, а 23 мая 1905 г. открыт. Проект дома в стиле модерн разработал сын поэта архитектор Е. П. Вейнберг.
Общество взаимопомощи нуждающимся литераторам и ученым («Литературный фонд») выдавало пенсии, продолжительные пособия, пособия на обучение и воспитание детей, бессрочные ссуды и единовременные пособия. Кроме того, общество принимало на себя ходатайства о бесплатном лечении, пользовании водами, об уплате гонорара редакторами и издателями. Председателем общества стал Ф. Д. Батюшков, товарищем председателя — Н. А. Котляревский, секретарем — Р. В. Иванов-Разумник, казначеем — А. В. Пешехонов.
В доме имелось 12 просторных комнат, большой общий зал с библиотекой, столовая, кухня, комната для горничной. Цена за комнату была невысокой. Бесплатными были отопление, освещение и стирка.
Первоначально дом населяли малоизвестные или неизвестные литераторы. Н. М. Чапыгина, жена писателя, вспоминала, что в доме квартировали в основном бывшие политкаторжане. Ею был составлен список людей, в разные годы проживавших в доме.
В 1909–1919 гг. в нем жила член группы «Земля и воля» В. И. Засулич, в 1913–1918 гг. — первый переводчик «Капитала», друг К. Маркса, Г. А. Лопатин. Здесь же, по воспоминаниям жены Чапыгина, прошли последние годы жизни В. Н. Фигнер. Проживала мать Бориса Савинкова.
В этот же период (1913–1917 гг.) в Доме литераторов жили старый большевик Н. Чердынцев, землеволец Н. С. Тютчев, пушкинист Б. Л. Модзалевский, историк революционного движения, литератор И. С. Книжник-Ветров, народник Н. С. Тютчев.
С 1916 г. в доме размещался комитет и архив Литфонда.
Здесь жили художники круга живописца, скрипача и композитора, видного деятеля петербургского художественного авангарда М. В. Матюшина: П. А. Мансуров, Г. Н. Петников, Б. В. Эндер, Е. С. Гуро.
С 1920 г. Дом литераторов принадлежал Всероссийскому союзу писателей. С 24 сентября 1924 по 1937 г. здесь жил А. П. Чапыгин.
В мае 1925 г. писателя посетил его земляк, в то время молодой красноармеец, будущий известный поэт-песенник А. Д. Чуркин, автор текстов песен «Вечер на рейде», «Парень кудрявый», «Далекодалеко». А. Д. Чуркин некоторое время (в 1935 г.) проживал в этом доме.
Здесь же жил земляк, друг и ученик А. П. Чапыгина писатель М. В. Черноков. Он — автор романов, повестей, рассказов, среди которых роман «Книжники» (1933 г.).
Здесь у Чапыгина бывали поэты Сергей Есенин и Вольф Эрлих.
В феврале 1937 г. Чапыгин тяжело заболел и 21 октября 1937 г. скончался. Он похоронен на кладбище Александро-Невской лавры. Позднее прах перенесли на Литераторские мостки Волкова кладбища. В 1940 г. в память о писателе по проекту архитектора Н. Ф. Демкова на доме установлена мемориальная доска.
В 1919–1941 гг. в квартире 7 жил живописец, график, иллюстратор, поэт, теоретик искусства, педагог, один из лидеров русского авангарда П. Н. Филонов, комната которого являлась центром творческого общения. Здесь им создано большинство полотен. Он был одним из создателей Института художественной культуры. В 1923 г. возглавил отделение общей идеологии Института, располагавшегося на Исаакиевской площади, 9. Им создан «Коллектив мастеров аналитического искусства». Его живопись подверглась жесткой цензуре властей. Наиболее известные картины художника: «Пир королей», «Формула петроградского пролетариата» и другие. С начала войны он участвовал во всех оборонных работах, дежурил на чердаке дома, гасил зажигалки. Художник умер от голода в блокадную зиму 1941/42 гг. и похоронен на Серафимовском кладбище. Его жена, старая революционерка, член партии «Народная воля» Е. А. Серебрякова, также умерла во время войны. Около 400 работ художника остались без присмотра. Его сестра, Е. Н. Глебова, в 1942 г. все картины передала в Русский музей.
В одной из квартир жил и в июле 1935 г. скончался писатель А. Г. Ульянский (настоящая фамилия — Свинцов Владимир Николаевич), выпускник историко-филологического факультета Петербургского университета (1910 г.). В 1915 г. в чине прапорщика попал в плен к немцам, бежал. Был схвачен в Австрии, снова бежал. На Украине оказался у белых, бежал к красным. Пять раз находился под угрозой расстрела. Служил в Красной армии кашеваром, санитаром, писарем, переводчиком. С 1923 г. жил в Петрограде. Работал в Фонетическом институте иностранных языков. Автор романа «Путь колеса» (1930 г.), комедии «Облигация», рассказов. Последние два года жизни занимался «Историей Путиловского завода».