Обе они вышли замуж за дворян – Елена была в первом браке за князем Михаилом Урусовым. Автор воспоминаний «50 лет в строю» А.А. Игнатьев писал, что «моему товарищу, князю Урусову, женившемуся на дочери купца Харитоненко, пришлось уйти из полка; ему запретили явиться на свадьбу в кавалергардском мундире». Рассказывали, что Урусов участвовал в дуэли с однополчанином Михаилом Оливом и прострелил только его сюртук. После дуэли супруги развелись, и Елена Павловна вышла замуж за гвардейского офицера Михаила Сергеевича Олива, из французского дворянского рода, скончавшегося в Мюнхене в 1957 г. Наталья была замужем первым браком за графом Петром Стенбоком, а вторым – за князем Михаилом Горчаковым.
Новый особняк на Софийской набережной сразу же стал одним из центров московской художественной жизни. Автор воспоминаний «Семейная хроника» Т.А. Аксакова-Сиверс, часто бывавшая в доме и дружившая с молодым поколением, писала в конце своей долгой жизни, что она «видела в доме на Софийской набережной так много красивого и интересного, что „эстетической зарядки“ хватает по сей день». В этом доме благодаря «художественному чутью хозяина, – считала она, – происходил весьма удачный сплав самых разнообразных человеческих элементов».
Но многие, с удовольствием пользуясь гостеприимством хозяина, считали возможным критиковать «отсталые» художественные вкусы его, да и вообще относиться к нему с изрядной долей снобизма. В Москве говорили, продолжает Аксакова-Сиверс, «„хари тоненьки, но карманы толстеньки“. Карманы были действительно толстеньки, но и овалы лиц милейших Павла Ивановича и Веры Андреевны были скорее округлыми, чем тонкими. Это не мешало Павлу Ивановичу иметь свой приятный стиль: когда он, небольшого роста, плотный, с пушистыми усами, седыми волосами „щеточкой“ и выпуклыми глазами, стоял во фраке у подножия своей знаменитой, обитой гобеленами темно-дубовой лестницы и радушно принимал всю Москву, я всегда вспоминала „Кота в сапогах“, который тоже принимал когда-то короля и маркиза Карабаса в вестибюле средневекового замка.
Вера Андреевна Харитоненко, несмотря на свое дворянское происхождение, производила более простоватое впечатление, чем ее муж. Ходила она, переваливаясь с боку на бок, и заводила долгие тягучие разговоры, которые неизменно заканчивались словами: „Ну что вы на это скажете?“ Собеседник обычно ничего не мог сказать, так как плохо следил за нитью разговора, и последний вопрос ставил его в тупик».
Дом П.И. Харитоненко часто посещали многие представители мира искусства, а также политические деятели. Так, к примеру, в январе 1912 г. московские газеты сообщили об обеде у Павла Ивановича, на котором присутствовала вся «высшая военная Москва». Небезызвестный Роберт Локкарт, тогда британский вице-консул в Москве, оставил подробный рассказ о званом вечере в особняке Харитоненко, данном в честь 80 членов парламента, приехавших из Лондона в Россию: «Дом Харитоненко был огромный дворец, расположенный на другом берегу реки, как раз напротив Кремля. Для встречи с британской делегацией были приглашены все власти, вся знать, все московские миллионеры, и, когда я прибыл, было тесно, словно на лестницах театра в очереди. Весь дом был сказочно убран цветами, доставленными из Ниццы. Казалось, что оркестры играли во всех передних.