У «бывших» тоже был свой круг общения, в частности, граф и художник Сергей Шереметев, съехавший из огромного фамильного дома на Воздвиженке, а также купчиха Елизавета Алексеевна Красильщикова, державшая до 1917 года салон в усадьбе на Моховой улице, куда частенько захаживали Шаляпин с Рахманиновым. Ее парадный портрет «под Ермолову» писал в 1906 году Валентин Серов, когда купчиха еще слыла женщиной своенравной, амбициозной и властной, с претензиями на светскость. У графа и купчихи закрутился роман, впоследствии они уехали в Париж, где у Шереметева была квартира-студия.
Но не все художники, как Шереметев, покинули родину, тем более что некоторым и ехать-то было некуда. Вот они-то и остались во дворце, один из них — Николай Вышеславцев, создатель галереи графических портретов фигур Серебряного века — Андрея Белого, Вяч. Иванова, Павла Флоренского, Владислава Ходасевича, Густава Шпета, Марины Цветаевой. По окончании в Москве Студии живописи и рисунка Ильи Машкова с 1908 по 1914 год Вышеславцев жил в Италии и во Франции. Участник Первой мировой войны, он был ранен, контужен, стал заикаться. В 1920 году во дворце прошла его выставка, на которую пришли и герои его полотен. «Надо прежде всего делать свое дело, — повторял художник, — притом возможно лучше для самого себя делать… а сделаешь хорошо для себя — смотришь, и для других получилось неплохо». Владимир Лидин вспоминал, как ловко управлялся Вышеславцев с ластиком, игравшим не меньшую роль, чем карандаш: «Для него это была гамма, которой он неустанно упражнял свои руки: правой рукой он рисовал, а левой стирал ненужное».
Книголюб Вышеславцев был оформлен во дворце библиотекарем и по совместительству раздавал хлеб его членам. Главное было не опаздывать к раздаче — педантичный заика Вышеславцев был строг. Но даже опоздавших женщин он очаровывал: «Молчаливый, замкнутый, рассудочный и культурный, с непроницаемым выражением светлых зеленоватых глаз и подобранного тонкого рта, он не тратил “зря” время на болтовню во время общей еды или “чаев” на очередных вечерах», — пишет Серпинская. Не скрывала чувств и Цветаева, познакомившаяся с ним весной 1920 года: «Это единственный человек, которого я чувствую выше себя, кроме С.». Под буквой С. скрывался муж Сергей Эфрон, воевавший в это время с большевиками. Цветаева посвятила Вышеславцеву 27 стихотворений, а он оформил обложку сборника ее стихов «Версты» в 1922 году. А позировала ему все равно Серпинская, с которой он расплачивался хлебом.
Еще один художник, видный представитель символизма Василий Миллиоти (в некоторых источниках упоминается как Милиоти) жил в правом флигеле усадьбы. Одаренный человек, не имевший художественного образования, он тем не менее приобрел заслуженный авторитет в театральной среде (оформил в 1906 году спектакль Мейерхольда в петербургском театре Веры Комиссаржевской), а также и у коллег, участвуя в объединении «Золотое руно». Показывал он свои работы и на выставках Союза русских художников и «Мира искусства». Самое интересное, что по профессии Миллиоти был уголовным следователем, перемежая эту работу с занятием живописью. После 1917 года он окончательно порвал с правоохранительной деятельностью, от греха подальше, был членом Комиссии по закупке картин в музейный фонд Москвы.
К Василию Миллиоти на Поварскую часто до эмиграции приходил его старший брат Николай — не менее известный художник. Он не уступал ему по таланту, к тому же имел художественное образование, с 1894 по 1900 год занимался в Московском училище живописи, ваяния и зодчества у Серова. Поступив в 1898 году на историко-филологический факультет Московского университета, Николай закончил образование в Сорбонне, параллельно учился в знаменитой Академии Жюльена. Братья Миллиоти участвовали почти во всех известных художественных выставках эпохи Серебряного века. Однако в 1920 году их пути разошлись. Василий остался в России, а Николай выехал в Болгарию, а оттуда в Берлин, где в 1921 году стал одним из организаторов русского Дома искусств. За границей для него начался новый этап творчества, он много работал, писал портреты, оформлял спектакли, занимался активной общественной деятельностью в эмигрантской среде, его имя стоит в одном ряду с Михаилом Ларионовым и Натальей Гончаровой. Прожил Николай Миллиоти 88 лет и умер в 1962 году. А вот брат Василий не нашел себя в стране, где главным методом творчества объявили соцреализм. Последняя его значительная работа относится к 1927 году — цикл рисунков к «Пиру во время чумы» Пушкина. Художник перестал участвовать в выставках, жил уединенно. Умер в 1943 году в 68 лет. Судьбы братьев на редкость показательны.