Когда с ним была Пэт, он почти не делал этого. Однако как только он переселился в Лондон, он начал понемногу принимать алкоголь, чтобы быть более уверенным в себе. Это «понемногу» с течением времени увеличивалось и увеличивалось так, что к 1964-му он почти стал алкоголиком. Также из-за постоянного нервного напряжения он стал выкуривать по 60 сигарет в день, что еще более ослабило его пораженные астмой легкие. Помимо этого он — как, впрочем, и все остальные — страдал от отсутствия сбалансированного питания. В перерывах между концертами они довольствовались всего лишь каким-нибудь бургером. Домом для них было то место, где кончался последний тур. Времени для сна — редко в одиночку — выдавалось у Брайана катастрофически мало, и постоянная усталость усиливала его неуверенность в себе и углублялась с каждым днем все больше и больше. Он выпивал, чтобы побороть пугающее его чувство неуверенности, и тогда его поведение становилось весьма странным. Уверенность, которую он теперь искал, навсегда покинула его. Обида, досада и смущение терзали его душу, он становился невероятно колючим и агрессивным.
Самая большая наглость со стороны остальных «Роллингов» заключалась в том, что после того, как Брайана так бессердечно и обидно передразнивали, от него ждали, что он будет играть на сцене с такой же отдачей, что и всегда. Никто не сможет отрицать, что сила и драйв «Стоунз» во многом шли именно от Джонса. Группа заставляла его молчать и играть, как будто бы ничего не происходило. Брайан не мог ни забыть, ни простить всего этого. В итоге среди них он чувствовал себя одиноким и готовым постоянно обороняться. Подозрение, что остальным нравится видеть его подавленным, вскоре превратилось в его самое большое убеждение. Он считал, что его благополучно отставляла в сторону «Анти-святая Троица» в лице Мика, Кита и Эндрю. Как он не старался скрыть от всех свое плохое настроение, ему становилось все горше и горше. Самое несправедливое, что даже после его смерти не все находят в себе силы понять Брайана и посочувствовать ему.
Непрерывные гастроли продолжались, и теперь им приходилось курсировать между бедламом, что творился во время их концертов, и бедламом в их личных отношениях. Брайан всегда боялся толпы. Парадоксально, но факт: ее хаотический энтузиазм давал ему некий эмоциональный толчок. В действительности он был робкой и нервной натурой, не приспособленной к публичной жизни, и массовая истерия пугала его. Впрочем, она пугала их всех, особенно если что-то случалось не так, как надо. Так, в “St. George’s Hall” в Брэдфорде Брайан был атакован фанатами, когда группа решила пробежаться через дорогу к своему отелю между концертами. В перерыве между шоу «Роллинги» не захотели сидеть в своей гримерке до начала второго концерта и решили в шутку перебежать дорогу к отелю. Всем им это удалось — кроме Брайана. Перед тем, как Брайан появился перед входом в гостиницу, фаны плотно обступили его. Он повернулся и побежал в другую сторону. Фаны немедленно побежали за ним и настигли Брайана, порвав его одежду в клочья. Наконец, он вернулся с полицией — без пиджака, без рубашки, потеряв ботинок и несколько прядей волос. Подобное вскоре произошло в Шеффилде. Поклонники подкараулили его в городском сквере. Брайан бежал через весь город, а позади него были 50 разъяренных девчонок, которые срывали с него одежду клочок за клочком. В это время остальные «Стоунз» наблюдали за этим из окна гостиницы и смеялись от души.
К осени 1964-го Британия виртуально разделилась на два лагеря. «Ты — фан «Стоунз» или фан «Битлз»?» — вот каков был самый насущный вопрос сезона. О том, чтобы быть поклонником и тех, и других, невозможно было и думать. Соперничество между ними было как никогда острым, и выбор между двумя группами обычно характеризовал самого человека. Быть фаном «Битлз» означало быть милым, дружелюбным и безопасным для окружающих. Быть же фаном «Стоунз» — это ставило вас на определенную ступень, словно оставляло у вас на лбу клеймо нонконформиста.
В то время как Лондон «раскачивался» под звуки музыки группы “Who”, “Small Faces” и “Kinks”, «Роллинги» продолжали сеять по стране разрушение. Градус истерии повышался и повышался. Выдранные из пола сиденья и разорванные занавесы стоили театрам, в которых они выступали, всех их доходов. Однажды какие-то парни из публики решили положить конец фатальной привлекательности Брайана на сцене, и на одном концерте его рояль «Стейнвей» был увезен прямо из-под рук и скинут за кулисы. Бесчисленные концерты были отменены из-за страха перед повторением актов вандализма. Этот вирус разрушения, приносимый концертами «Стоунз», стремительно разносился по Европе, где «роллингомания» намного превзошла «битломанию».