У ребенка была тяжелая наследственность. Его отец был весьма одаренным, оригинальным, импульсивным, своенравным человеком и — горьким пьяницей. Мать страдала регулярными приступами истерии и испытывала фанатичную страсть к порядку и неодолимый страх перед мнением окружающих. Ее непрекращающиеся иеремиады довели терпение адвоката до предела — и он воспользовался предложением работы в суде Инстербурга, чтобы раз и навсегда порвать с непрестанно хнычущей супругой с ее раздражающей опрятностью и вечно красными от слез глазами. Он добился развода, и суд вверил его попечению старшего сына Карла, тогда как матери достался маленький Эрнст. В то время последнему было четыре года, и с тех пор братья не общались друг с другом. В единственном дошедшем до нас письме к брату от 10 июля 1817 года Эрнст упоминает играющего на виоле да гамба отца и покрытый красным лаком рояль. Возможно, это самое раннее воспоминание в его жизни.
После развода Луиза переехала к своей матери. Вероятно, распад брака послужил ей поводом для новых жалоб. Маленькому Эрнсту поневоле приходилось играть перед ней роль публики, и воспоминания об этих днях предположительно легли в основу сцены встречи Кота Мурра с его кошачьей родительницей, в плаксивом, театральном и пронзительном тоне которой озвучены все клише материнской преданности и самопожертвования.
Нетрудно предположить, сколь своеобразным было детство Э. Т. А. Гофмана, проведенное им в просторном сером доме на Постштрассе, сад которого примыкал к пансиону для девиц. Представим себе уютную квартиру в старой Пруссии конца XVIII века, с расписными изразцовыми печами, чембало и арфой в пестрых ситцевых футлярах, тяжелым тиканьем инкрустированных часов, скромными плетеными стульями и выкрашенным серой краской полом. Холодная чистота и довлеющая надо всем скука. Скука, но не спокойствие, ибо дом то и дело оглашают вопли безумной, до смерти пугая бабушку, неизменно вызывая у Луизы слезы и оставляя неизгладимые следы, сочетающие в себе трепет страха с дрожью сладострастия, в душе болезненного мальчика с пугающе большими глазами. Эта безумная, под чьи крики проходит детство писателя, живет в квартире на верхнем этаже вместе со своим сыном Цахариасом Вернером, которого она, впрочем, держит за сына божьего и воспитывает в соответствии с этим убеждением. Цахариас был шестью годами старше Эрнста, и в детские годы они не поддерживали никаких отношений друг с другом.
Позднее их пути пересеклись в Варшаве, но писатель Цахариас Вернер — сложная и загадочная натура, человек со странностями и беспорядочным образом жизни — так и не стал Э. Т. А. Гофману другом, оставшись для него просто знакомым. В письме Гиппелю Гофман охарактеризовал его так: