Искусственный интеллект

То, какой вариант лучше, зависит от природы вызова, к которому мы готовимся. Если он заключается в решении проблемы, для которой ключевым является обучение на основе опыта, тогда определяющим фактором может быть длительность периода подготовки, поскольку для накопления требуемого опыта нужно время. Как мог бы выглядеть подобный вызов? В качестве гипотетического примера можно предположить, что в какой-то момент в будущем будет создано новое оружие, способное в случае начала войны вызвать экзистенциальную катастрофу, скажем, с вероятностью один к десяти. Если мы столкнулись бы с таким вызовом, то могли бы захотеть замедлить темпы макроструктурного развития, чтобы у нашего вида было больше времени для совместных действий до того момента, когда будет сделан критически важный шаг и новое оружие станет реальностью. Можно надеяться на то, что благодаря этой отсрочке, подаренной торможением развития, человечество научится обходиться без войн, например, международные отношения на Земле станут напоминать те, что характерны для стран Евросоюза, которые яростно боролись друг с другом на протяжении многих веков, а теперь сосуществуют в мире и относительной гармонии. Такое умиротворение может стать следствием или постепенного смягчения нравов в результате различных эволюционных процессов, или шоковой терапии в результате вспышки насилия, недотягивающей до экзистенциального уровня (например, локального ядерного конфликта и вызванного им изменения во взглядах, способного привести к созданию глобальных институтов, необходимых для исключения войн между государствами). Если такого рода обучение не может быть ускорено за счет когнитивного совершенствования, тогда в таком улучшении смысла нет, поскольку оно лишь ускорит горение бикфордова шнура.

Однако с потенциальным взрывным развитием искусственного интеллекта может быть связан вызов и иного рода. Для решения проблемы контроля требуется проницательность, здравый смысл и теоретические знания. Не очень понятно, чем тут может помочь дополнительный исторический опыт. Получить непосредственный опыт переживания взрывного развития невозможно (пока не будет слишком поздно), да и многие другие скрытые от глаз аспекты проблемы контроля делают ее уникальной и не позволяют использовать какие-то исторические прецеденты. По этим причинам количество времени, которое пройдет до взрывного развития искусственного интеллекта, мало что значит само по себе. Но, вполне вероятно, приобретут значение следующие обстоятельства: 1) интеллектуальный прогресс в изучении проблемы контроля, достигнутый к моменту детонации; 2) навыки и интеллект, доступные в этот момент, чтобы реализовать наилучшие из имеющихся решения (или сымпровизировать в случае их отсутствия)9. Очевидно, что последний фактор должен положительно повлиять на когнитивное улучшение. Как когнитивное улучшение повлияет на первый фактор — пока неясно.

Одна из причин, по которым когнитивное совершенствование способно привести к прогрессу в проблеме контроля к моменту, когда произойдет взрывное развитие искусственного интеллекта, состоит в том, что этот прогресс может быть достижим лишь на экстремально высоких уровнях интеллектуальной производительности — даже более высоких, чем те, что требуются для создания машинного интеллекта. При решении проблемы контроля роль проб и ошибок, а также накопления экспериментальных результатов не так велика, как в работе над искусственным интеллектом или в исследованиях эмуляции головного мозга. То есть относительная важность времени и умственных усилий сильно варьируется в зависимости от типа задачи, и прогресс в решении проблемы контроля, достигнутый за счет когнитивного совершенствования, может оказаться большим, чем прогресс в деле создания машинного интеллекта.

Еще одна причина, почему когнитивное совершенствование способно обеспечить больший прогресс в решении проблемы контроля, состоит в том, что сама потребность в этом прогрессе будет скорее признана интеллектуально более развитыми обществами и индивидуумами. Чтобы понять, почему проблема контроля важна, и присвоить ей высший приоритет, нужно обладать прозорливостью и здравомыслием10. А для решения столь непривычной задачи требуется обладать редкостным разумом.

Эти соображения подводят нас к заключению о желательности когнитивного улучшения, особенно если придавать большое значение экзистенциальным рискам взрывного развития искусственного интеллекта. Оно также поможет снизить риски, связанные с другими вызовами, для чего требуются проницательность и умение абстрактно мыслить (в противоположность постепенной адаптации к происходящим в окружающем мире изменениям или процессу культурного созревания и строительства соответствующих институтов, который может растянуться на время жизни нескольких поколений).

Технологические связки