Но постепенно популярность энергичной и очень живой Барбары среди членов королевской семьи и их приближенных стала злить и раздражать Диану. Принцесса упрекала няню в том, что та использует свое положение, чтобы втереться в доверие к некоторым членам семьи, в особенности к принцессе Маргарет и ее сыну, виконту Линли. «Она много о себе воображает, эта задавака», — однажды коварно шепнула Диана кому-то из знакомых. Быть может, более или менее неосознанно молодая мать ревновала няню к сыну, мысленно упрекая ее за то, что малыш Уильям так привязан к ней — ведь он с ней никогда не расставался. И совершенно естественно, что юный принц гораздо внимательнее прислушивался к советам своей нянюшки, чем к советам матери. Как объяснил один из друзей этой четы: «Барбара находилась в услужении у излишне нервной молодой матери, отчаянно пытавшейся совместить столь противоречивые вещи, как статус супруги, общественной деятельницы и публичного лица и обязанности матери». Принц Уэльский, поначалу старавшийся примирить двух женщин, в конце концов был вынужден вмешаться. «Уильям, — утверждал он, — далеко не обычный мальчик. Однажды он станет королем Англии». По его мнению, Барбара Барнс слишком часто принимала сторону Уильяма, а не его супруги. И Чарльз стал требовать, чтобы для его сына наняли няню, «воспитанную и обученную на старый манер», если возможно, разделяющую идеи, вышедшие из моды. Изгнать ставшую слишком популярной няньку! Изгнать!