Напряженный график «Роллингов» позволил ему уйти от семейных проблем — но, как оказалось, лишь на время. Полностью игнорировать их было нельзя, и вместо того, чтобы сблизить пару, рождение Джулиана и давление со стороны родителей новоиспеченной матери, которое оно вызвало, изрядно ухудшило отношения Брайана с Линдой в последующие месяцы. У группы появился первый хит, и в оставшиеся полгода им нужно было показаться на ТВ в трех странах, без остановки проехаться с концертами по Франции, Голландии и трижды обернуться с гастролями вокруг света. В этом случае для Брайана семья была бы чересчур непосильным испытанием.
Это были нелегкие времена. Мечась между настроениями опустошенности и радостного оживления, изо всех благ новой «звездной» жизни Брайан наверняка наслаждался теперь только одним чувством — чувством предвкушения чего-то необычайного, нового и будоражащего перед тем моментом, как над группой поднимался занавес. На концертах публика просто бесновалась. Описывая свои чувства по поводу выступлений, Брайан говорил: «Атмосфера там более чем электрическая. Это — нечто осязаемое: как большая эластичная повязка, которая собирается лопнуть в любой момент».
То, что группа теперь должна была находиться друг с другом 24 часа в день, породило новые проблемы. Разногласия и различия между Брайаном и Миком с Китом очень влияли на его самооценку и самочувствие. В этом внутреннем, закрытом от посторонних мирке «Роллинг Стоунз» раскрылись самые неприглядные стороны отдельных личностей. Взаимоотношения внутри коллектива были несомненным источником проблем для Брайана. Он чувствовал себя во власти все возрастающего чувства досады и затененным именно благодаря Олдэму. Эндрю, будучи менеджером группы, имел неограниченную (до поры до времени) власть над группой, но Брайан был пуристом, настоящим музыкантом. Он лучше бы играл для двух человек, которые действительно слушают его, чем для двух тысяч, которые орут в зале на чем свет стоит. В то же время главной заботой и работой Эндрю было продвижение «Стоунз» на мировой рынок. Он считал пуризм Брайана чем-то глупым — что тот якобы помешан на определенном стиле музыки с ограниченностью и фанатизмом коллекционера марок. Брайан же считал Эндрю «музыкальным мусорным баком» — ему он никогда не нравился. Но Брайан знал, что Эндрю полезен группе, как никто другой.
Всегда впечатлительному Брайану нелегко было сносить нападки. Временами он чувствовал, что остальные питают к нему презрение, и это обижало его, но еще труднее ему было верить в то, что это — правда. К тому времени Мик и Кит научились очень смешно и обидно изображать его, фокусируя внимание на его физических недостатках — коротких ногах и шее. Их грубое и извращенное кривляние достигло своего апогея во время турне в Ирландии и просто смертельно обижало Брайана. Брайан, будучи почти на ножах с Олдэмом, не видел надежды на то, что это отношение к нему когда-нибудь изменится к лучшему. Ярость, которую он выплеснул на остальных «Роллингов» во время съемок “Juke Box Jury”, была прямой защитной реакцией на непотребный имидж группы, который Олдэм решился защищать не на жизнь, а на смерть. Все чаще и чаще чувствуя себя словно прижатым чьей-то беспощадной и властной рукой к холодной стене, Брайан начал пить.
Когда с ним была Пэт, он почти не делал этого. Однако как только он переселился в Лондон, он начал понемногу принимать алкоголь, чтобы быть более уверенным в себе. Это «понемногу» с течением времени увеличивалось и увеличивалось так, что к 1964-му он почти стал алкоголиком. Также из-за постоянного нервного напряжения он стал выкуривать по 60 сигарет в день, что еще более ослабило его пораженные астмой легкие. Помимо этого он — как, впрочем, и все остальные — страдал от отсутствия сбалансированного питания. В перерывах между концертами они довольствовались всего лишь каким-нибудь бургером. Домом для них было то место, где кончался последний тур. Времени для сна — редко в одиночку — выдавалось у Брайана катастрофически мало, и постоянная усталость усиливала его неуверенность в себе и углублялась с каждым днем все больше и больше. Он выпивал, чтобы побороть пугающее его чувство неуверенности, и тогда его поведение становилось весьма странным. Уверенность, которую он теперь искал, навсегда покинула его. Обида, досада и смущение терзали его душу, он становился невероятно колючим и агрессивным.