Особняк был построен по заказу А. А. Морозова, промышленника и предпринимателя. С начала XX века его хозяйкой стала Варвара Алексеевна Морозова, входившая в руководство Товарищества Тверской мануфактуры. Много писалось о ее литературном и общественном салоне, не меньшее значение имела и широчайшая благотворительная деятельность Варвары Алексеевны. Она входит в Благотворительное общество при психиатрической клинике имени Морозова, Общество для пособия нуждающимся студентам при Московском университете, в Попечительский совет при Народном университете имени Шанявского, Городское попечительство о бедных, Общество вспомоществования нуждающимся студентам Императорского технического училища, Городской библиотеки – бесплатной читальни имени И. С. Тургенева. Она попечительница Городского ремесленного училища, носящего ее имя, и Рогожского городского начального женского училища. Это Варваре Алексеевне принадлежат слова: «Деньги схватить, коли случай подвернется, и дурак сумеет. А вот смысл им придать, человеческий смысл – такое искусство, как дар Божий, немногим дано».
Гостями В. А. Морозовой бывали А. П. Чехов, В. Я. Брюсов, К. С. Станиславский, В. И. Немирович-Данченко, В. Г. Короленко, Г. И. Успенский. В 1905 году Морозова предоставила свой особняк лекторской группе МК РСДРП. Среди выступавших с докладами были историк М. Н. Покровский, И. И. Скворцов-Степанов, историк, публицист и экономист, работавший учителем в Городском училище на Арбате.
В советские годы особняк Морозовых последовательно занимали Институт социальной гигиены, Международный аграрный институт во главе с известным болгарским коммунистом Василием Коларовым, Комиссия партийного контроля при ЦК КПСС. С 1959 года в нем располагался Союз обществ дружбы и культурных связей с зарубежными странами.
Соседний особняк, известный в Москве под названием «Мавританского замка», был построен по заказу А. А. Морозова на подаренной ему матерью земле. Архитектурный облик дома, привлекающий туристов сегодня, вызвал искреннее негодование В. А. Морозовой. По словам современников, она бросила в гневе сыну: «То, что ты дурак, все знали в семье, а теперь узнала вся Москва». Не менее возмущенно откликнулся на появление этого здания и Л. Н. Толстой в XII главе второй части романа «Воскресение»: «глупый, ненужный дворец какому-то глупому и ненужному человеку».
Возможно, именно поэтому Морозов-младший доверил свой замысел – «фантазию на мавританский стиль» с использованием мотивов португальского замка Синтра – неизвестному архитектору. В. А. Мазырин специализировался на строительстве тюрем и имел в этом отношении даже собственную теорию, которой делился с Константином Коровиным и Федором Шаляпиным. Отсюда, кстати сказать, такое резкое отличие пышнейшего парадного подъезда, витых колонн портала, фланкирующих его круглые башни со стенами, покрытыми высеченными в камне раковинами, короны кружевных парапетов с предельно строгим дворовым фасадом, где совершенно гладкую плоскость стен прорезают только большие окна.
В воспоминаниях К. А. Коровина есть эпизод спора В. А. Мазырина, которого приятели шутливо звали «Анчуткой», с А. М. Горьким:
«– Позвольте, господа, – сказал Мазырин. – Никогда не надо начинать с театра, храма, домов, а первое, что надо строить, – это остроги.
Горький, побледнев, вскочил из-за стола и закричал:
– Что он говорит? Ты слышишь, Федор? Кто это такой?
– Я кто такой? Я – архитектор, – сказал спокойно Мазырин. – Я знаю, я строю, и каждый подрядчик, каждый рабочий хочет вас надуть, поставить вам плохие материалы, кирпич ставить на песке, цемент уворовать, бетон, железо. Не будь острога, они бы вам показали. Вот я и говорю – город с острога надо начинать строить.
Горький нахмурился:
– Не умно.
– Я-то дело говорю, я-то строил, а вы сочиняете... и говорите глупости! – неожиданно выпалил Мазырин.
Все сразу замолчали».
В 1918 году по фасаду морозовского особняка было протянуто огромное полотнище с надписью черными буквами: «Пролеткульт». Организация эта объединяла писателей – выходцев из рабочей среды. Это поэты М. Герасимов, В. Кириллов, И. Садофьев, Н. Полетаев. Сюда приходят в начале своего литературного пути В. Казин, А. Гастев. В Москве и Петрограде издаются пролеткультовские журналы «Кузница», «Пролетарская культура», «Грядущее». В самом морозовском особняке размещается Театр Пролеткульта, проходят литературные чтения. В ванной комнате находит себе квартиру Есенин вдвоем с М. П. Герасимовым. Он пишет здесь «Небесного барабанщика». Вместе с Герасимовым, С. А. Клычковым и Н. А. Павловичем они создают киносценарий в четырех частях «Зовущие зори».
Н. А. Павлович вспоминал об этом сценарии, что «материалом для „Зовущих зорь“ послужили и московский Пролеткульт, и наши действительные разговоры и утопические мечтания, и прежде всего сама эпоха... Эпизоды 13, 14, 15, 16–23 мы придумывали в столовой на Арбате (ныне – „Прага“), куда часто ходили все вместе обедать из „Пролеткульта“.