Власть роботов. Как подготовиться к неизбежному

Книга Бострома произвела огромное впечатление, особенно на элиту Кремниевой долины. Не прошло и месяца после ее выхода в свет, как Илон Маск уже заявил, что, «работая над искусственным интеллектом, мы вызываем демона» и что ИИ «может быть опаснее ядерного оружия»[323]. Год спустя Маск стал сооснователем OpenAI, миссия которой заключается в создании «дружественного» искусственного интеллекта. Те, кто принял аргументы Бострома близко к сердцу, стали воспринимать идею об экзистенциальной угрозе ИИ практически как бесспорный факт и как более серьезную опасность, чем изменение климата или глобальная пандемия. Как сказал нейробиолог и философ Сэм Харрис во время выступления на конференции в TED, набравшего более 5 млн просмотров, «сейчас очень трудно понять, как сделать так, чтобы [польза, которую мы получим от искусственного интеллекта] не уничтожила нас или не подтолкнула к самоуничтожению». По его мнению, нам необходимо «нечто вроде Манхэттенского проекта», нацеленного на поиск путей устранения такой опасности[324].

Конечно, беспокоиться будет не о чем, если нам не удастся создать в полной мере мыслящую машину с когнитивными способностями, по крайней мере эквивалентными нашим. Как говорилось в главе 5, на пути к созданию универсального искусственного интеллекта нас ждет неизвестное количество серьезных препятствий и на их преодоление потребуются десятилетия. Как вы помните, ведущие исследователи ИИ, которых я опрашивал в ходе работы над книгой «Архитекторы интеллекта», оценили среднее время ожидания до появления универсального ИИ примерно в 80 лет, то есть отнесли этот момент на конец столетия. Однако, как только ИИ человеческого уровня станет реальностью, за ним почти наверняка быстро последует суперинтеллект. Более того, любой машинный интеллект, способный учиться и мыслить на уровне человека, уже будет превосходить нас просто потому, что ему доступны все уже существующие преимущества компьютеров перед нами, включая способность проводить вычисления и обрабатывать информацию с непостижимой скоростью и напрямую взаимодействовать с другими машинами через сети.

Как предполагают большинство экспертов в области ИИ, вскоре после достижения такого уровня машинный интеллект решит направить свою интеллектуальную энергию на совершенствование собственной конструкции. Это приведет к непрерывному, рекурсивному улучшению системы. Результатом неизбежно станет «интеллектуальный взрыв» — Рэй Курцвейл и другие технооптимисты считают это событие катализатором появления сингулярности и зарей новой эпохи. Предположение, что прогресс в области ИИ однажды вызовет взрывное развитие машинного интеллекта, было высказано задолго до того, как вступил в действие закон Мура и стало появляться компьютерное оборудование, способное сделать подобное событие реальностью. В 1964 году математик Ирвинг Гуд написал научную статью «Размышления о первой сверхразумной машине», где сформулировал эту идею следующим образом:

Давайте понимать под сверхразумной такую машину, которая намного превосходит самого умного человека во всех видах интеллектуальной деятельности. Поскольку конструирование машин — один из видов интеллектуальной деятельности, сверхразумная машина сможет создавать еще более продвинутые машины. В результате этого произойдет «интеллектуальный взрыв» и интеллект человека останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое сделает человек при условии, что машина будет достаточно послушной и сообщит нам, как держать ее под контролем[325].

Перспектива того, что сверхразумная машина станет последним нашим изобретением, отражает оптимизм сторонников идеи сингулярности. Оговорка о том, что машина должна оставаться достаточно послушной, чтобы ее можно было контролировать, отражает тревогу и намекает на возможность появления экзистенциальной угрозы. В сообществе исследователей ИИ эта темная сторона суперинтеллекта называется проблемой контроля или проблемой выравнивания ценностей.