Но главным недостатком аппарата было то, что для замены программы нужно было заново его конфигурировать — примерно так, как это делает телефонистка на старой телефонной станции. Конфигурирование могло занимать несколько дней. Еще одной серьезной проблемой ENIAC было то, что он чаще был в починке, чем в работе. Несмотря на это ENIAC использовался на протяжении десяти лет, и за этот период он выполнил больше вычислений, чем было сделано за всю историю человечества до этого.
Фон Нейман начал заниматься ENIAC совершенно случайно. Американский математик Герман Хайн Голдстайн (1913-2004) поступил на военную службу в начале Второй мировой войны. Он имел звание лейтенанта и работал в BRL, баллистической лаборатории в Абердине, штат Мериленд. Голдстайн был специалистом по подготовке таблиц стрельбы и прекрасно понимал, что необходимо срочно автоматизировать длинные и утомительные вычисления. Поэтому он согласился быть посредником между школой Мура в Филадельфии, которая занималась созданием ENIAC, и полигоном в Абердине. Летом 1944 года Голдстайн случайно встретился с фон Нейманом на железнодорожном вокзале Абердина. Поскольку у того было множество обязательств перед различными государственными организациями, ему, одному из немногих ученых, разрешалось покидать базу Аламогордо. Голдстайн не был лично знаком с фон Нейманом, но знал его по конференциям, поэтому решил все-таки подойти к ученому.
Математики любопытны по своей природе и всегда интересуются работой друг друга. Разговор касался малозначительных тем, пока Голдстайн не упомянул, что работает над новым компьютером. Тут поведение фон Неймана изменилось, и, по словам самого Голдстайна, он начал допрос с пристрастием. Вопросы выдавали в нем эксперта, и Голдстайн решил пригласить коллегу в исследовательский центр Мура, чтобы лично познакомить его с инженерами Джоном Мокли и Джоном Преспером Экертом, работавшими над ENIAC. В этой истории, конечно, странно, что двое людей, каждый из которых работал над сверхсекретным проектом, едва познакомившись, стали обсуждать свои исследования в здании железнодорожного вокзала.