В доме говорили на нескольких языках, и гувернантки обучали детей английскому и французскому. Знание иностранных языков всегда было очень важным для еврейских семей, ведь они в любой момент могли быть вынуждены покинуть родину. А кроме того, знание немецкого языка считалось обязательным, так как для некоторых слоев венгерского общества Германия была одной из лучших стран, позволявших достичь высокого профессионального и социального статуса. Ценились и мертвые языки, перед которыми Макс Нейман испытывал настоящее благоговение. В то время в средних школах обязательными предметами были латынь и греческий, которые начинали изучать в 14 лет. Янош благодаря урокам своего отца уже в шесть лет знал несколько фраз на классическом греческом. Неудивительно, что, обладая такими способностями и находясь в такой благоприятной среде, мальчик проявлял склонность к языкам. Во взрослые годы фон Нейман говорил на венгерском — языке своей матери, а также на немецком, английском, французском и, конечно, латинском и греческом. Он неоднократно подчеркивал то, какую важную роль сыграли в его жизни мертвые языки: их изучение помогло ему лучше понять, какой должна быть внутренняя структура вычислительных машин.
Джон фон Нейман
Удивительно, однако, что на Рождество в семье фон Нейманов пели немецкие народные песни рядом с наряженной елкой. Удивительно, поскольку речь шла о празднике, который еврейская община не отмечала. Якоб Канн, дедушка Яноша, был очень религиозным человеком и строго соблюдал все еврейские обряды, но следующие поколения не унаследовали эту религиозность. Янош не получил еврейского религиозного воспитания, но ритуалы иудаизма в его семье соблюдались, хотя часто только внешне. Среди этих традиций были занятия с раввином по введению в Тору. О том, насколько незначительное влияние имел на фон Неймана иудаизм, свидетельствует тот факт, что ученый без малейших угрызений совести перешел в католическую веру, когда этого потребовали обстоятельства — чтобы заключить свой первый брак. В течение всей жизни фон Нейман был агностиком, за исключением очень краткого периода незадолго до смерти, когда он попросил позвать к нему католического священника.
В биографиях математических гениев часто упоминаются два их качества: первое — это способности к языкам, второе — фотографическая память (возможно, они тесно связаны).
Янош не был исключением и мог запомнить целую страницу из телефонной книги, прочитав ее всего два-три раза. Друзья часто устраивали ему проверку, и действительно, Янош зачитывал по памяти имена, фамилии, адреса и номера телефонов в том порядке, в каком они шли в справочнике, или в обратном, или вразброс. Однажды отец купил ему такую большую энциклопедию, что для нее пришлось выделить отдельную комнату.
Маленький Янош проводил среди книг по нескольку часов в день. Он начал с первого тома и, не пропустив ни одного абзаца, дошел до последней страницы последнего тома (всего в энциклопедии по мировой истории было 20 томов). При этом Янош не только запоминал всю информацию, но и анализировал ее. Уже в раннем возрасте мальчик заинтересовался отношениями между странами, в частности военными конфликтами и стратегиями, которые в них использовались. Янош пытался установить взаимосвязи, не обозначенные в тексте напрямую. Вообще его интерес к военным стратегиям проявился очень рано. Янош быстро научился играть в шахматы у отца, который почти всегда выигрывал, и в это время Макс Нейман понял, что его сын не умеет проигрывать. Но и еще раньше, когда Янош играл со свинцовыми солдатиками, он был в первую очередь стратегом. Его брат Михаль говорил, что Янош не устраивал парады и не убивал солдат: его военные следовали тактике, установленной в самом начале игры, а его самого больше интересовало развитие битвы и движение отрядов, нежели война сама по себе.