Студент Гофман давал уроки музыки тридцатилетней даме по имени Дора Хатт, связанной несчастливым браком с пожилым виноторговцем. Она, по словам Гиппеля, сама добилась благосклонности студента. Впрочем, студент не очень сопротивлялся, совсем скоро он стал называть свою окольцованную возлюбленную античным именем Кора (греческая богиня, похищенная Аидом, владыкой подземного царства мертвых, который заставил ее проглотить гранатовые зерна — символ неразрывности брака). Так что эта любовь с самого начала была настроена на высокую трагическую ноту (через много лет писатель воздвигнет ей нетленный памятник в новелле «Майорат»). Когда эта страсть обрела масштаб публичного скандала в Кенигсберге, на семейном совете было решено отправить Гофмана к дяде Иоганну Людвигу Дерферу, советнику верховного суда в Глогау (Силезия). Это произошло в 1796 году.
Кончилась хоть и бедная, но вдохновенная студенческая пора — с музыкой, книгами, любовью, театром, и на порог вступила «проза жизни». Гофман начал сам зарабатывать на жизнь, но вожделенной самостоятельности не обрел — семейная опека продолжалась: дядюшка запретил ему даже переписываться с Корой, боясь судебного разбирательства. До литературной «отдушины» предстояло добираться еще двенадцать лет, которые Гофман сравнит со скалой Прометея. Мечтая проявить себя как музыкант, композитор и художник (о литературе пока помышлений не было), он был прикован к службе ради хлеба насущного: мелкий судебный чиновник в Глагоу, затем в Познани, откуда в наказание за злые карикатуры на «сливки» общества его сослали в захолустный Плоцк. В это время без особого воодушевления он женился на Михалине Рорер-Тшщиньской, однако с женой ему повезло. Простая, но сердечная женщина, она снисходительно относилась ко всем отклонениям от нормы своего творчески взвинченного супруга.
В 1804 году Гофмана перевели в чине государственного советника в южнопрусское окружное управление в Варшаву. Здесь наконец-то он приблизился к тому миру, который его манил, став в 1805 году заведующим и цензором варшавского «Музыкального общества», где сам расписал концертный зал и к тому же был капельмейстером…
Гофман решает посвятить жизнь музыке. Для начала он меняет свое третье имя Вильгельм на Амадей, в честь Моцарта, сочиняет музыкальные произведения, концертирует… Он так увлекся, что даже не заметил, как начались наполеоновские войны. «Между тем война, — писал Герцен, — видя его невнимательность, решается сама посетить его в Варшаве; он бы и тут ее не заметил, но надо было на время прекратить концерты». Французская армия вошла в Варшаву, и Гофман лишился работы из-за роспуска прусских учреждений.
Началась полоса крайней нужды и разочарований, пришло горе — умерла единственная двухлетняя дочь Цецилия. Гофман уезжает в Берлин, но в разоренной Наполеоном Пруссии он никому не понадобился — ни как юрист, ни как музыкант и живописец. Чтобы поесть, он иногда продавал с себя вещи… Наконец в 1808 году его пригласили капельмейстером в Бамберг, и жизнь дала небольшую передышку. Гофман сочиняет музыку для спектаклей городского театра, приобретает влиятельных друзей (один из них, виноторговец Карл Кунц, будет первым издателем его книг и биографом), становится завсегдатаем популярного ресторанчика «У розы», куда жители приходят на него посмотреть не только как на местную знаменитость, но и большого оригинала. Иногда у Гофмана случались приступы необъяснимой ярости, он поднимался из-за стола и, стуча вилкой по тарелке, обращался к непонравившемуся посетителю: «Дражайший, вы, справа в углу, вы даже не представляете, как я вас почитаю, хоть вы и осел!»
Когда театр прогорел, и он опять остался без работы и в поношенном сюртуке, жители не отказали себе в удовольствии всячески подчеркнуть, что он всего лишь учитель музыки и рисовальщик декораций — так появилась на повестке дня гофмановская тема филистеров и энтузиастов.
В этот тяжелый период он написал свою первую новеллу «Кавалер Глюк» (1809) — исключительно ради заработка, о чем свидетельствует его записка к редактору «Всеобщей музыкальной газеты», в которой он предоставляет ему полную свободу сокращений и добавляет: «Я бесконечно далек от всякого писательского тщеславия». К тому времени Гофман был автором более тридцати музыкальных произведений и с музыкой связывал свои надежды на бессмертие. Однако жизнь за него сделала выбор между тремя искусствами.