Российская Академия Наук

Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвигает грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин X века изобрести лекарство от туберкулёза? Природа не соизмеряет свои вызовы с вашими умениями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызовом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случиться и со всем человеческим видом, если человеческий вид столкнётся с несправедливым вызовом.

Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бессмертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего человека в мире, столь рискованном, как наш, вы должны каким-то образом свести свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а интеллектуально невозможно.

Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было военных биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить сколько-нибудь заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо для того, чтобы прожить ещё миллион лет.

Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.

Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.

Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747-ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.

Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал: