В ужасе от поведения Шарля чета Опик решает отправить его в заморское путешествие и в июне 1841 г. сажает на корабль, отплывающий из Бордо в Калькутту; однако в Индию Бодлер так и не попал; вытерпев неполных 5 месяцев на борту пакетбота и едва добравшись до острова Бурбон (ныне Реюньон), он решительно отказался плыть дальше и уже в феврале 1843 г. вновь очутился в Париже, где его, по достижении совершеннолетия, поджидало отцовское наследство — 100 000 франков, которые с весны он начинает усердно проматывать, тратя на всевозможные развлечения, на уличных девиц и, главное, на создание собственного «имиджа» — имиджа денди. В 40-е годы, стремясь поразить окружающих своим внешним видом, Бодлер с необыкновенной тщательностью заботится о «туалетах», щеголяя то в бархатном камзоле на манер венецианских патрициев; то, подражая знаменитому английскому денди Джорджу Бреммелю, в строгом черном фраке и с цилиндром на голове; то, выдумав новую форму дендизма, в просторной блузе.
Элегантная внешность и «английские» манеры молодого человека производили впечатление на женщин, однако Бодлер даже не пытался завязать роман с приличной замужней дамой или хотя бы с опрятной гризеткой. Робость, гипертрофированная саморефлексия, неуверенность в себе как в мужчине заставляли его искать партнершу, по отношению к которой он мог бы чувствовать свое полное превосходство и ничем не смущаться. Такой партнершей стала некая Жанна Дюваль, статистка в одном из парижских театриков. Бодлер сошелся с ней весной 1842 г., и в течение 20 лет она оставалась его постоянной любовницей. Хотя «черная Венера» (Жанна была креолкой) на самом деле не отличалась ни особенной красотой, ни тем более умом или талантом, хотя она проявляла открытое презрение к литературным занятиям Бодлера, постоянно требовала у него денег и изменяла ему при любом удобном случае. Ее бесстыдная чувственность устраивала Бодлера и тем самым отчасти примиряла с жизнью. Кляня Жанну за ее вздорность, нечуткость и злобность, он все же привязался к ней и, во всяком случае, не бросил в беде: когда весной 1859 г. Жанну, питавшую излишнее пристрастие к ликерам и винам, разбил паралич, Бодлер продолжал жить с ней под одной крышей и, вероятно, поддерживал материально вплоть до самой своей смерти. Однако литературные успехи не могли возместить Бодлеру недостаток личного счастья. Жанна в его глазах воплощала сугубо «женское», «животное» начало, о котором он отзывался с холодным презрением, хотя на самом деле, бравируя тем, что якобы не ждет от противоположного пола ничего, кроме чувственных удовольствий, втайне всю жизнь мечтал об идеальной любви, о женщине-друге и о женщине-матери.
Личная жизнь поэта складывалась крайне странно. Любовь, как пишет Бодлер, — это «чудовищная игра, которая неизбежно принуждает одного из игроков терять власть над собой!». Всю свою жизнь Бодлер находился под огромным влиянием матери, которую он буквально боготворил. Последствия эдипова комплекса очень сильно отразились на сознании поэта. Его мать была недалекой женщиной, что впоследствии отразилось на том, что Бодлер связывал свою жизнь исключительно с пустоголовыми актрисами и был завсегдатаем публичных домов. Он писал о том, что женщины — это первооснова зла, вместилище греха и животных инстинктов. Бодлер получал удовольствие от осознания того, что он намного умнее своих любовниц, это придавало ему силы. В письме Шанфлёри он писал следующие слова: «Вам известно, как люблю я девок и как ненавижу философствующих дам». Ядовитая мизогиния сочеталась у него с благоговением к фигуре матери, которую он, будучи еще ребенком, очень ревновал к отчиму. Эта двойственность чувств насквозь пропитала поэта, что в дальнейшем нашло отражение в его произведениях. В книге «Парижский сплин» он дает четкое определение своему отношению к женщинам: «Она крайне дурна собой. И тем не менее она восхитительна!» или: «Меня всегда удивляло, как это женщинам позволяют входить в церковь. О чем им толковать с Богом?», а при этом мог создавать такие вдохновенные строки: