С обеими актрисами соперничали две титулованные султанши: знаменитая мисс Стьюарт (о которой мы уже говорили) и графиня Барбара Кэстльмэн, с которой король сблизился еще в бытность свою в Голландии. Эта госпожа красотой и распутством могла смело потягаться со всеми тремя соперницами. Барбара посвятила себя служению Венере с пятнадцатилетнего возраста. Обольстителем ее был Стенгоп, граф Честерфильд, человек женатый и чудовищно безобразный; но к уродам эта красавица всегда питала особенную склонность. Не она ли послужила подлинником Жозианы для Виктора Гюго в его романе Смеющийся (L'homme qui rit)? Барбара, сознаваясь в этой странности и извращенности вкуса, говорила всегда, что люди безобразные гораздо страстнее красивых; они более ценят ласку женщины, дорожат ею, ревнуют… тогда как красавцы, хотя бы любимые красавицами же, весьма редко бывают постоянны. Как видит читатель, у Барбары, женщины-циника, была своя философия. Чтобы скрыть последствия своей связи с графом Честерфильд, она вышла за Роджерса, графа Кэстльмэн, отвратительного карлика, но и страшно богатого; только в религиозных убеждениях и могли сойтись эти милые супруги, так как она была католичка и он был католиком, всей своей черной душонкой и безобразным телом преданный его святейшеству папе римскому. Вскоре после свадьбы супруги отправились в Голландию к Карлу II, тогда еще изгнаннику. Муж открыл ему свой кошелек, жена — страстные объятия. По прибытии в Лондон Карл II вознаградил доброго рогоносца, дав ему, по его желанию, место смотрителя тюрьмы королевской скамьи; затем пожаловал его в бароны и, наконец, в графы Кэстльмэн. Через два месяца у него родился сын. Графиня в надежде, что Карл II признает его своим, желала окрестить его по обряду протестантскому: граф — по католическому. Невзирая на протесты Барбары, младенца помазали миром и окрестили, дав католическое имя. Обиженная мать пожаловалась королю, и он приказал окрестить своего сына вторично, как протестанта, и сам был его восприемником, а крестной матерью была графиня Суфольк. По крайнему нашему разумению и сам царь Соломон не мог лучше разрешить этого спорного вопроса. У новорожденного было два отца: католик и протестант — ergo, — и крестить его следовало дважды. Одно было не совсем по-христиански, что родной отец был вместе с тем и крестным, но в глазах Карла II это была мелочь, недостойная внимания. Вследствие религиозной распри супруги поссорились и разъехались. Муж уехал во Францию, жена переселилась к своему брату в Ричмонд.
Через три года по возвращении на родину граф Кэстльмэн был встречен супругой, представившей ему, кроме старшего сына, еще одного — Генриха, графа Грифтона, а через два месяца подарила ему и третьего — Георга… Это было уже слишком, и граф потребовал формального развода, на который Карл II выразил свое милостивое согласие, с условием, чтобы граф выехал за границу и ни под каким видом не возвращался в Англию… Кэстльмэн повиновался; однако же через полгода возвратился, чтобы в сообществе с английскими иезуитами издать «Апологию английских католиков», написанную в довольно возмутительном духе. Автор был арестован и посажен в Башню. Карл II негодовал на Кэстльмэна не столько за сочинение книги, сколько за самовольное возвращение. Арест Кэстльмэна подал повод недоброжелателям короля к изданию множества пасквилей и карикатур, на которое королевская фаворитка изволила надуть губки. Опасаясь ее гнева, Карл II приказал освободить узника, и он удалился в Голландию. В это время Барбара Кэстльмэн вела себя непозволительно… Она меняла любовников ежедневно, чуть не ежечасно; подобно Мессалине, переодетая ходила по разным притонам разврата, выбирая себе в наложники красивых матросов, дрягилей, мастеровых, лакеев… Покупая их ласки за золото, щедро расточаемое ей королем, Барбара обходилась с ним грубо, хуже нежели с последним слугой, а он беспрекословно ей повиновался. Требовала она денег — и на нее сыпался золотой дождь; пожелала быть герцогиней — герцогская корона была ей пожалована; приказывала королю признавать своими детей, рожденных ею невесть от кого, — Карл II узаконял их, давая им герцогские титла. Эта прелестная леди скончалась в преклонных летах в царствование Вильгельма III. До появления при дворе Карла II Луизы де Керуаль (впоследствии герцогини Портсмут) эта скотообразная женщина имела на него огромное влияние.