А среди окружения королевы недовольство высокомерием Джона Брауна и его доминирующим положением при дворе стало быстро превращаться в откровенную ненависть. Он не любил, когда в комнате для курения собиралось много мужчин, которые дымили там почти всю ночь, поэтому он отдал распоряжение запирать эту комнату сразу после полуночи. Кроме того, ни сыновьям королевы, ни зятьям не позволялось курить в ее присутствии, что тоже вызывало раздражение близких родственников королевы. Сам же Джон Браун пыхтел своей трубкой, ничуть не заботясь о здоровье госпожи. Браун очень не любил, когда его в любое время дня и ночи вызывали для решения самых мелких хозяйственных вопросов, и приказал конюшим не беспокоить его по пустякам, поскольку он просто не в состоянии вникать во все, да к тому же «его придворный статус при этом принижается».
Однако наибольшее количество врагов он нажил себе бесконечными ссорами со слугами и придворными: не поладил с королевским капелланом, повздорил с немкой-библиотекаршей, поругался с управляющим имением, часто бранился с министрами, а однажды допустил непростительную вольность и остановил доклад премьер-министра Гладстона довольно бесцеремонной фразой: «Вы уже достаточно сказали». Кроме того, он разругался с принцем Альфредом, герцогом Эдинбургским, а когда его все же заставили принести извинения, а после этого сообщили, что его королевское высочество вполне удовлетворен этими извинениями, он нарочито громко проворчал: «Я тоже удовлетворен». Джон Браун часто ссорился с помощником личного секретаря королевы Артуром Биггом, а однажды заявился в его кабинет и сказал, что тот не пойдет на рыбалку вместе со всеми. «Ее величество полагает, — с едкой ухмылкой добавил он, — что вам следует хоть немного времени уделить своим непосредственным обязанностям».
Правда, Джон Браун не осмеливался ссориться с дочерьми королевы, но и они были им крайне недовольны. Так, например, принцесса Алиса жаловалась, что «только ему одному было позволено говорить с королевой на любые темы, а мы, ее дочери, вынуждены были ограничивать себя только тем, что не расстраивало ее, не портило ее настроения или что она сама хотела от нас услышать». Были, правда, и те, кто считал, что королева порой просто-напросто боится своего слуги, в особенности когда тот бывал пьян [49].
Однажды Генри Понсонби обнаружил Джона Брауна в стельку пьяным на диване, в то время как королева ждала его в своей карете, чтобы совершить обычную вечернюю прогулку Не долго думая Понсонби запер Брауна в его комнате, спустился вниз, «погрузил в карету ящик с продуктами» и отправился с королевой, не сказав ей ни слова. «Королева сразу же догадалась, в чем было дело, — вспоминал позже он, — но не придала этому никакого значения. Впрочем, она не обращала на это внимания и в других подобных случаях».
В 1867 г. королеву с большим трудом уговорили принять участие в военном смотре в Гайд-парке, и она согласилась, на этот шаг при том непременном условии, что с ней будет находиться Джон Браун. Министры категорически возражали против участия королевского слуги в столь важном государственном мероприятии. Королева пришла в ярость и заявила министрам, что не позволит, чтобы ей указывали, когда, где и с кем она должна покидать свой дворец, тем более если речь идет о «комфорте и безопасности». К счастью, военный парад был отложен совсем по другой причине и очередного скандала удалось избежать. Одному из своих конюших королева сказала, что было бы глупо предполагать, что ее карета будет подвергнута нападению разъяренной толпы, если она появится та военном смотре в сопровождении «бедного и доброго мистера Брауна». Все негативные чувства, направленные против Брауна, раздувались еще сильнее представителями высших слоев британского общества, которые выражали недовольство тем, что им «так и не удалось вытащить королеву из добровольного затворничества».
Итак, влияние Джона Брауна на королеву продолжалось, а многочисленным посетителям Балморала и Осборна оставалось лишь удивляться его масштабам. Однажды утром один из многочисленных зятьев королевы решил поохотиться в королевских лесных угодьях, но с ужасом обнаружил, что до него там побывал мистер Браун и распугал всю птицу. А другой родственник королевы вспоминал, что в Балморале Джон Браун специально посылал слугу на озеро, чтобы узнать, есть ли там рыба. Если рыба клевала плохо, то он наотрез отказывался идти на рыбалку с королевой, и та вынуждена была рыбачить со своим личным врачом. Его самодовольство и амбиции стали притчей во языцех.