А после смерти супруга королева стала все больше и больше полагаться на помощь и поддержку Джона Брауна, когда находилась в Балморале, а в 1862 г. даже взяла его с собой в поездку в Германию. Будучи главным и единственным звеном, которое связывало королеву с ее радостным и счастливым прошлым, Джон Браун зарекомендовал себя как бесстрашный покровитель и даже спаситель королевы, что подтвердилось в двух авариях с королевской каретой. Он был настолько надежным, преданным и верным слугой, так умел утешить королеву в ее горе, что она чувствовала себя в его присутствии уверенной и защищенной. Кроме того, Джон Браун отличался щедростью и часто жертвовал немалые суммы на свадебные подарки для придворных или помогал отдельным слугам. Обычно он прямо высказывал свои мысли, но, к сожалению, подчас злоупотреблял спиртным. Королева, несомненно, восхищалась его мужественной внешностью и твердым характером, что выгодно отличало его от других мужчин. Так, например, она недолюбливала Артура Стэнли, настоятеля Вестминстерского аббатства, который казался ей совершенно бесполым существом — мягким, нерешительным и трусливым.
Даже в грубоватых манерах Джона Брауна она видела истинно мужское начало, завораживающее ее. Однажды он помогал ей надеть шляпу и нечаянно уколол шпилькой ее щеку. «Ну вот, мадам, — недовольно проворчал он, — неужели трудно приподнять голову?» А если он не одобрял ее наряд, то мог откровенно выражать свое недовольство и даже брюзжать: «Зачем вы надели сегодня это платье, мадам?» Бывало, королева жаловалась, что прислуга не убрала ее письменный стол, а Джон Браун и это время мог угрюмо проворчать: «Успокойтесь, мадам, я сейчас что-нибудь придумаю». Однажды одна из придворных дам увидела Брауна с сумкой для пикника и спросила, взял ли он чай для королевы. «Нет, — покачал головой Браун, - она не очень любит чай. Мы взяли с собою бисквит и спирт».
С течением времени Джон Браун становился все более самонадеянным, все более высокомерным и тем самым настраивал против себя других. Остальные слуги завидовали ему, а придворные возмущались его наглостью и люто ненавидели за слишком привилегированное положение. Он стал «слишком властолюбивым и заносчивым, — говорил о нем лорд Карлингфорд. — Ни один слуга не имеет возможности продвинуться по службе, минуя этого хитрого интригана. А он не поддерживает никого, кому не нравятся его манеры... Некоторые из придворных всячески потакают Д.Б. и делают ему дорогие подарки и т.д., а он презирает их за это. Однако при этом он безгранично предан королеве и готов сделать для нее все, что только потребуется». А поскольку королева полностью зависела от Джона Брауна и никогда не выезжала из дворца без преданного слуги, доктор Дженнер и сэр Чарльз Фиппс решили в конце 1864 г., что в интересах здоровья ее величества будет лучше, чтобы Джон Браун перебрался из Балморала в Осборн и как можно чаще находился с ней. По крайней мере он может заставить ее выйти на свежий воздух, что не удавалось никому из других слуг и придворных.
К началу 1865 г. мистер Браун получил повышение по службе и стал руководителем всей королевской прислуги в Балморале, отвечая как за внутренний порядок, так и за все, что происходило за пределами дворца. А к концу 1872 г. его ежегодное жалованье достигло небывалой для такой должности суммы — 400 фунтов. В письмах к Джону Брауну королева стала все чаще употреблять слово «эсквайр» («господин») и называть его своим «другом» и «наиболее доверенным слугой», который, по ее словам, не взял за все это время ни единого выходного дня и ни разу не покинул свой пост. «Он приходит в мою комнату после завтрака и обеда, чтобы получить необходимые распоряжения, — писала королева старшей дочери. — И все он делает правильно и своевременно. У него прекрасная память и сообразительный ум. К тому же он безгранично предан мне и готов выполнить любое поручение. Я всегда чувствую, что в моем доме рядом со мной находится верный и преданный друг, которому можно доверить любое дело. Одному Богу известно, как я сейчас нуждаюсь в такой помощи и поддержке. В большом доме, где много людей, много забот и при этом нет хозяина, такой человек просто необходим». «Он по-настоящему предан мне, — писала королева королю Леопольду, — и меня это очень успокаивает».