Франц родился, согласно рассказам его матери, в доме на углу Майсльгассе и Карпфенгассе (теперь Капрова). В детстве он также проживал на Гейстгассе (Душни) в доме под названием «Минута» и на углу Венсельсплатц и Смешки. Когда я впервые его увидел, семья Кафки жила в приятном старинном доме с причудливыми формами неподалеку от Зейнской церкви на Цельтнергассе (теперь дом номер 3 по улице Целетна). Товарный склад его отца также находился на Цельтнергассе, а затем он был переведен в помещение при Киньском дворце на Старой площади. В «Размышлениях» Кафки, других его ранних работах и конечно же в дневнике можно встретить много впечатлений, полученных от посещения этого торгового склада. Достаточно только прочитать очерк «Торговец» . Кто были эти «странноватые люди из деревни», чья манера «торговать» означала «делать все не так, как люди не их круга». На складах Германа Кафки, занимающегося оптовой торговлей, хранились галантерейные товары, которые он поставлял в лавочки и магазины других городов и селений. Я отчетливо помню, что на складе было огромное количество теплых тапочек, и Франц, совместно со мной, в очередной раз безуспешно пытался помочь отцу, сетующему на большое количество работы, или, по крайней мере, старался показать свое желание помочь, чтобы получить без лишнего напряжения и суеты его одобрительный взгляд или благодарное слово. Его мать без устали помогала мужу в делах и кое в чем была незаменима. Я даже видел там некоторое время одну из сестер Франца. Но этого было недостаточно для его отца, который, обладая характером лидера, всегда хотел видеть свою семью вокруг себя. Как это теперь далеко, и воспоминания тех дней словно покрыты дымкой! Но два других дома, куда я часто приходил в гости к Францу, ясно запечатлелись в моей памяти. Один на Никласштрассе, 36 (теперь улица Паржишска) с видом на набережную, купальни и на зеленый косогор Бельведера, другой дом Оппельта на углу Никласштрассе и Старой площади. Рабочий кабинет Кафки находился на стороне Никласштрассе. Окна выходили на прекрасную русскую церковь с причудливой фигурой, превышающей человеческий рост.
Франц был старшим сыном. Двое его братьев (Генрих и Георг) умерли в детстве (одному было два года, другому – полтора). Через шесть лет появились три его сестры, которые всегда держались вместе, и между ними и Францем словно была стена. Позже, после болезни Франца, младшая сестра твердой рукой разрушила эту стену. С тех пор она стала для Франца одним из самых близких людей, и с ней он мог делиться сокровенными мыслями и чувствами. Однако все-таки детство Франца было неописуемо одиноким. Так как мать его целыми днями была занята на складе, а отец без нее никак не мог обойтись, в том числе и в карточных играх по вечерам, образованием и воспитанием Франца занималась гувернантка и бездушные школы. Его первый эротический опыт был связан с француженкой-гувернанткой или с какой-то другой француженкой.
Печаль и тяготы своих ранних лет («тяжелый, как земля» или «тяжеловес» – Кафка получил это прозвище по другому случаю) Франц описал в своем дневнике 1911 г.: