ANN в основном делятся на два типа: биологические, которые пытаются воспроизвести такие свойства, как слух или зрение, и ориентированные на практическое применение, но мало напоминающие биологические системы. Джон фон Нейман подсчитал, какое примерно количество информации сохраняется в нашей памяти за среднюю по продолжительности жизнь. В результате он получил число, равное 2, 8 · 1020
(280000000000000000000 бит), что очень сложно себе представить, как бы мы ни старались.Фон Нейман рассматривал нервные клетки как электронные устройства, способные порождать биты: 1 — когда они порождают электрический импульс и 0 — когда находятся в состоянии покоя. Эта система чрезвычайно сложна и сочетает в себе электрохимические и механические процессы, но ее основа должна включать логическую и арифметическую части, обе из которых одинаково важны. Из этого ученый сделал вывод, что мозг можно рассматривать так же, как и современные вычислительные машины, и возвращался к логической структуре как к инструменту для создания модели. Он мог бы применить такую модель и к языку, в неформальном его понимании. По этому поводу фон Нейман сделал заявление, в котором проявился его онтологический подход к математике. Дословно он сказал, что «такие языки, как греческий или санскрит, представляют собой факты истории, а не абсолютную логическую необходимость». В первом случае речь идет о процессе обучения, выполняемом центральной нервной системой, в то время как во втором — о процессе, являющемся частью самой структуры, а он должен иметь тесную связь с математикой. Это все равно что заявить, что математика не «придумана» людьми, а является частью самой их природы.
В декабре 1949 года в университете штата Иллинойс фон Нейман прочел лекцию Theory and Organization of Complicated Automata («Теория и организация клеточных автоматов»). Схема была следующей: если рассматривать мозг как вычислительную машину, то когда мы используем его для коммуникации с другим человеком, мы делаем это при помощи вторичного языка, который является продуктом первичного языка, хранящегося в нервной системе. Эти два языка изначально могут очень отличаться друг от друга.
Точность, эффективность и глубина математики заставляют предположить, что первичный язык нашей нервной системы должен быть к ней очень близок. То есть наш разум — по крайней мере изначально — имеет математическую природу. Фон Нейман изложил все эти результаты в рукописи, которую не успел закончить и которая была опубликована в незавершенном виде после его смерти под названием The Computer and the Brain («Компьютер и мозг»).