Гагарин также часто бывал в московской гостинице «Юность», расположенной с внешней стороны западной части Садового кольца. Он всегда был там желанным гостем, и номер 709 на седьмом этаже был постоянно закреплен за ним и финансировался ЦК ВЛКСМ в рамках специального договора, который регулярно возобновлялся. В «Юности» нередко проводились банкеты и приемы в честь прибывавших в Москву комсомольских делегаций союзных республик, и ожидалось, что Гагарин будет выступать на них с зажигательными речами. Часто такие вечеринки затягивались до рассвета, вот почему Гагарин предпочитал переночевать в «Юности», а не ехать домой. В относительно неформальной и приватной обстановке «Юности» он мог отдохнуть и повеселиться с друзьями. Юрий Алексеевич превосходно играл в бильярд и редко проигрывал: впрочем, многие помнят случай, когда он намеренно поддался Ноне, юной шахматной чемпионке, известной своей эффектной внешностью. Его товарищи не могли понять, как он мог вынести такой позор — проиграть девчонке. Но у него была на уме другая игра.
Гагарин был весьма привлекательным молодым человеком, к тому же так получилось, что он завоевал мировую славу. С ним могла соперничать, может, только битловская «великолепная четверка», однако ошибкой было бы представлять его бессердечным покорителем женщин. Он искал сексуальных приключений не больше и не меньше, чем искала бы их любая другая суперзвезда на его месте. Все свидетельствуют, что он любил жену и обожал своих дочек. Но Валя считала, что муж слишком легко относится к брачным обетам. Ей это совсем не нравилось. Одной-единственной измены было бы достаточно, чтобы ее расстроить, не говоря уж о «нескольких изменах», которые, как утверждают некоторые, всё же имели место на протяжении их семейной жизни.
Как-то раз Валя решила навестить своего легкомысленного благоверного в гостинице «Юность». Игорь Хохлов, любимый гагаринский парикмахер из «Юности», винил в том, что происходило дальше, гостиничную охрану у входа: «Тогда была совсем другая эпоха. Любая женщина могла ухватиться за Гагарина, прогуляться с ним, даже переспать. Кое-какие шансы в нашей гостинице ему выпадали. После одной вечеринки, когда он немного набрался, одна известная спортсменка, чемпионка по лыжам, проявила к нему интерес. Он ее не соблазнял, это она его соблазняла, но часов в шесть вдруг заявилась его жена. Может, у нее какое-то предчувствие было? Похоже, винить надо милицию [на входе], потому что они могли бы запросто позвонить Юре в номер и предупредить, но не позвонили. И Валентина закатила скандал, она Гагарина чуть на куски не разорвала. Та девчонка собрала вещички и быстренько смоталась. Эта спортсменка дорого Гагарину обошлась».
Вале наверняка казалось, что все это уже было в ее жизни — стук в дверь, споры, раны на лице мужа, только на сей раз — от ее ногтей, а не от прыжка с балкона. Наутро Хохлову пришлось маскировать царапины на гагаринских щеках перед встречей космонавта с Хрущевым. Парикмахер вспоминал: «Я его подгримировал. Зализывал ему раны, так сказать. Он был из тех мужиков, которые знают толк в женщинах, но я бы не сказал, что он так уж гулял направо и налево. Валентина своего мужа очень любила, но из-за всех этих случаев стала очень ревновать. К тому же она его сама застукала».
Герман Титов говорит: «Юриной жене было очень трудно свыкнуться с тем, что он больше ей, в сущности, не принадлежит».
После Фороса сдерживающее влияние на Гагарина оказывал, в частности, телохранитель, прикрепленный к нему по указанию Хрущева: высокий брюзгливый субъект по прозвищу Хорек. Он имел талант мгновенно испортить настроение любой компании, в которой оказывался, хотя, судя по всему, и был в целом очень милым человеком. К 1962 году Гагарин убедил Хрущева отозвать охранника, но тот просто заменил его тремя довольно неудачно маскирующимися агентами «в штатском». Хохлов говорил: «Если Гагарину нравилась какая-то женщина, он не мог просто с ней уйти, телохранителей ведь в постель с собой не положишь. А если хочешь выпить — то же самое. Изволь поставить выпивку и охране».
Другим мощным фактором стала напряженная работа, не только в Академии Жуковского, но и в Звездном городке, а также участие в официальных церемониях и различных пропагандистских мероприятиях, которых у него в начале брежневской эры стало несколько меньше, но они все же отнимали у него много сил. Хохлов вспоминал, как Гагарин однажды приехал к нему стричься и рассказал о пьянчужке, который только что испачкал ему брюки на улице. Раздраженный своим плотным графиком, утомленный Гагарин грустно пошутил: «Вот разумный парень. Он может одновременно и отдыхать, и делать все остальное».