И вот началась переписка, из которой фактически можно узнать историю любви. К сожалению, большинство из этих писем безвозвратно утеряны. Как сам Брамс позже поведал, Клара возвратила ему их через много лет, а он во время поездки на пароходе утопил их в Рейне. Та же судьба постигла и письма Клары к Брамсу: после того, как он их ей вернул, Клара уничтожила письма.
Если у Клары сначала преобладало чувство заботы об Иоганнесе только как об артисте и композиторе (при этом она содействовала опубликованию сочинений Брамса), то постепенно ее все больше стало волновать отношение к ней молодого человека. В 1855 г. она писала: «Я слишком болезненно переживаю разлуку с Иоганнесом…» А 28 марта 1855 г. после возвращения в Дюссельдорф из концертного турне Клара написала Иоахиму письмо, в котором встречаются такие строки: «…Я не могла дольше выдержать там, так сильна была тоска по дорогому Иоганнесу. Вы ведь знаете, как мы любим его музыку и его самого!»
Материнской заботой и беспокойством сквозит ее письмо от 21 июня 1856 года, в котором она сообщает о внезапной болезни Брамса: «Бедный Иоганнес подвергся настоящему тяжкому испытанию: 2 недели он не покидал постель и еще 2 недели ему нельзя выходить на улицу. Вряд ли можно было бы найти более образцового больного: ни слова жалобы и он ни на йоту не отступает от предписаний врача. Я при этом страдаю гораздо больше, чем он». Это, кстати, одно из очень немногих свидетельств в жизни Брамса, которое указывало бы на его болезнь.
Если его чувства к Кларе были сначала сдержанными и выражались просто нежными признаниями романтически настроенного юноши, то постоянное столкновение с проблемами и чувствами страстной зрелой женщины все больше изменяли их отношения. Его письма постепенно превращались в послания влюбленного. Можно судить об этом уже по тому, как Брамс обращается к Кларе: сначала «Почтенная Фрау», затем «Дражайшая подруга», «Нежно любимая подруга» и «Милая фрау Клара» и, наконец, просто «Милая Клара». Его тоска была столь сильна, что когда Клара выехала с концертами в Роттердам, Брамс несколько дней спустя бросился за ней следом. Тем не менее, в письмах он все еще обращается к ней на «Вы», даже когда пишет: «Я раскаиваюсь в каждом слове, когда пишу к Вам, если оно не о любви». Кажется, что он действительно верит в «осуществление» своей любви. Но предложение Клары перейти на «Ты» он принимает еще очень робко и в письмах перемежаются обращения «Ты» и «Вы».
Поскольку большая часть переписки была уничтожена, вскоре поползли скабрезные слухи, и среди некоторых представителей пишущей братии нашего времени распространилось предположение, что Брамс, возможно, был отцом последнего ребенка Клары, сына Феликса. Но несмотря на то, что Брамс впервые переступил порог дома Шумана 30 сентября 1853 года, а Клара разрешилась от бремени 11 июня 1854 г. и Брамс гипотетически имел возможность физической связи с ней в октябре 1853 года, многие письма свидетельствуют против этого пикантного предположения. Так, в письме от 19 июня 1854 года, неделю спустя после рождения Феликса, Брамс пишет Йозефу Иоахиму: «Мне кажется, что я почитаю и уважаю ее не меньше, чем люблю и влюблен в нее». Именно в это время он поверяет другу лишь самые сокровенные желания, неосуществленные в действительности. В этом смысле стоит обратить внимание еще на одно признание Брамса, сделанное им много лет спустя в Вене своей подруге фрау Иде Конрат: когда 10 июня 1863 года его друг Иоахим осчастливил браком бывшую ученицу Брамса Амалию Вайес, и Иоганнес навестил молодую пару летом в Айгене под Зальцбургом, он серьезно опасался потерять сердце из-за необычайно расцветшей к тому времени жены друга. На шутливое замечание фрау Конрат по этому поводу он категорически ответил: «Я никогда в жизни не имел дела с замужней женщиной!»
И только незадолго до смерти Шумана в письмах Брамса прорывается поток ничем не сдерживаемых чувств, и он признается: «Любимая Клара, хочу написать, как нежно я люблю тебя, как страстно желаю! Люблю так бесконечно, что трудно выразить это. Люблю — и не устаю повторять это. Твои письма — это поцелуи для меня».
А затем последовало событие, которого ждали, но в которое не верили ни Иоганнес, ни Клара — смерть Шумана в лечебнице Эндених 29 июля 1856 года, спустя несколько дней после их приезда к нему. Брамс так писал о последнем свидании супругов, разлученных надолго, которое произвело на него глубочайшее впечатление, в письме к Юлиусу Отто Гримму в сентябре 1856 г.: