Широкоразветвленная семья Брамсов происходит из Нижней Саксонии, Восточной Фрисландии и Голштинии. Прадед Иоганнеса, Петер Брамс, был столяром в Брунсбюттеле, тогда как его дед Иоганн Брамс переселился в голштинскую Хайду, где держал трактир и лавку, а его старший сын Петер Генрих продолжил дело отца. Родившийся 1 июня 1806 года второй сын Иоганн Якоб, отец Иоганнеса, первым в семье обнаружил неистребимую тягу к музыке. Заметив это стремление, отец отдал его в городской оркестр, где он овладел скрипкой, флейтой и рожком. В 19 лет Иоганн Якоб переселился в Гамбург, где некоторое время играл на флюггорне в различных танцевальных залах. Приложив много стараний, Иоганн Якоб овладел контрабасом, и был, наконец, принят в оркестр концертного павильона на Альстере.
После того, как отец Брамса стал участником секстета престижного Альстерского павильона, он в 1830 году получил звание гражданина Гамбурга и женился в том же году на Иоганне Генрике Кристиане Ниссен, державшей галантерейный магазин. Но если Иоганн Якоб был не только веселым, но и необычайно красивым молодым человеком, то Кристиану, бывшую на 17 лет старше, несмотря на прекрасные голубые глаза, никак нельзя было назвать красавицей. Кроме того, она отличалась хромотой и болезненностью. Тем не менее, из 120 сохранившихся писем, адресованных Иоганнесу, мы узнаем, что она, происходя из семьи учителей, пасторов и юристов, обладала поразительным чувством прекрасного, ее необычайно радовали красивые явления природы, картины, стихи. В первые годы брака на свет появились трое детей: Элиза, Иоганнес и, наконец, Фриц.
Иоганнес родился 7 мая 1833 года в Гамбургском квартале Шлютерсхоф, где семья занимала квартирку, состоящую из комнаты с кухней и крошечной спальни. Вскоре после этого родители переселились на Ультрих-штрассе, где жили и раньше, пользующуюся дурной славой из-за множества расположенных здесь борделей. Обитатели этой местности сетовали на то, что очень плохо для семей с детьми селиться здесь, так как на каждом шагу попадаются проститутки. Следует принять во внимание, что Иоганнес еще ребенком постоянно сталкивался с «полусветом», а юношей был вынужден жить дверь в дверь со шлюхами и сутенерами. Маленький Иоганнес неоднократно мог наблюдать в этом Портовом квартале преступления, пьянство, разврат, что, без сомнения, производило на него тягостное впечатление. С точки зрения психоанализа, эти воспоминания юности и жестокие наглядные жизненные уроки могли бы объяснить некоторые странности Брамса в более зрелые годы и, может быть, его некоторые трудности в общении с противоположным полом. Насколько его отягощали воспоминания детства можно понять из слов Евгении Шуман, дочери Роберта Шумана: «Он сам однажды сказал моей матери, что еще в детстве получил такие впечатления и видел такие вещи, которые оставили в его душе неизгладимый черный след».
Если в биографиях Брамса постоянно и встречаются сведения о том, что он для поправки дел семьи должен был вместе с отцом музицировать в злачных местах и получал ужасные впечатления от разгульной ночной жизни Гамбурга, то это не соответствует действительности. «Образ златокудрого, голубоглазого мальчика, а затем отрока, играющего на потребу публики самого низкого сорта — это нечто душераздирающее», — пишет Кальбек, основываясь на замечании Брамса о том, что он «часто играл на пианино в кабаках». Но эти «кабаки» были ничем иным, как харчевнями для беднейших слоев населения и не имели ничего общего со злачными местами. Насколько передергиваются факты, доказывает часто повествуемая история о том, что юный Брамс за жалование в «два таллера в неделю» играл на танцульках в портовом кабачке. В действительности речь шла о частных вечерах в доме крупного гамбургского негоцианта Шредера! Если критически подойти к источникам, то выяснится, что Иоганнес действительно, начиная с 13 лет, регулярно играл на фортепиано в харчевнях для простолюдинов, а иногда и в заведениях более высокого пошиба, но никогда не работал в кабаках, пользовавшихся дурной славой. Ребенком он вообще нигде не выступал публично и, как пишет Христиан Оттерер, коллега отца Иоганнеса по оркестру в Альстер-павильоне: «При всем желании, не могу вспомнить, чтобы Иоганнес в детстве играл где-нибудь в кабаках; я в то время ежедневно встречался с его отцом и, конечно, знал, если бы такое было на самом деле. Якоб был спокойным, порядочным человеком, следившим затем, чтобы Ханнес прилежно учился, и он ни в коем случае не хотел, чтобы мальчик выступал публично, пока не пришло для этого время».