Искусственный интеллект

Такой ИИ мог бы также разработать подробный проект перехода от имеющихся технологий (скажем, биотехнологий и белкового инжиниринга) к новым возможностям, благодаря которым удастся создать сверхэффективное производство на атомарном уровне точности для выпуска гораздо более широкого спектра недорогих наномеханических роботов8. Однако может оказаться, что инжиниринговый ИИ не будет способен по-настоящему овладеть сверхмощью в области технологических исследований, не имея навыков выше среднего в других областях, то есть широкого спектра интеллектуальных способностей, которые необходимы для понимания того, как интерпретировать запросы пользователей, моделировать поведение системы в реальных условиях, бороться с непредвиденными ошибками и неисправностями, как добывать материалы и исходные данные для строительства и так далее9.

Система, обладающая сверхмощью в области совершенствования интеллекта, могла бы использовать такие силы для самостоятельного повышения уровня собственных интеллектуальных способностей и для обретения сверхмощи в других областях. Но использование сверхмощи в области совершенствования интеллекта — не единственная возможность стать полноправным сверхразумом. Например, система, обладающая сверхмощью в области выработки стратегии, могла бы разработать план, способный в конечном счете обеспечить прирост ее интеллектуальных способностей (например, позиционировав себя так, что обслуживающие ее программисты и исследователи сосредоточат все свое внимание исключительно на этой проблеме).

Сценарий захвата власти сверхразумом

Таким образом, мы выяснили, что разработчики, способные контролировать сверхразум, получат доступ к источнику огромной силы. А проект, в рамках которого будет создан первый сверхразум в мире, скорее всего, получит абсолютное стратегическое превосходство. Но непосредственный источник силы находится в самой системе. Машинный сверхразум может сам по себе быть чрезвычайно влиятельной действующей силой, способной защитить себя как от проектов-конкурентов, так и от всего остального мира. Этот чрезвычайно важный момент мы обсудим подробнее.

Предположим, что появился машинный сверхразум, которому нет аналогов, и он стремится захватить власть над миром. (Пока не станем затрагивать тему, по какой причине возникает такой мотив, — это мы рассмотрим в следующей главе.) Каким образом сверхразум мог бы достичь своей цели — господства над миром?

Можно представить следующую последовательность действий (см. рис. 10).

Рис. 10. Фазы сценария захвата власти искусственным интеллектом

1. Фаза приближения к критическому моменту

Ученые проводят исследования в области искусственного интеллекта и смежных дисциплин. Кульминацией их разысканий становится создание зародыша­ ИИ. Эта система способна повышать свои интеллектуальные способности. Правда, на самой ранней стадии ИИ зависит от помощи программистов-людей, управляющих его ростом и делающих большую часть тяжелой работы. По мере своего развития зародыш ИИ обучается трудиться самостоятельно.

2. Рекурсивная фаза самосовершенствования

В какой-то момент у зародыша ИИ появляются компетенции, превышающие навыки программистов-людей. В результате происходит взрывное развитие ИИ — быстрая череда повторений рекурсивного цикла самосовершенствования приводит к скачку его когнитивных способностей. (Исходя из предположения, что рост интеллекта на этой стадии взлета носит взрывной характер, а источником взлета является приложение собственной силы оптимизации системы, мы можем воспринимать эту фазу как взлет, который происходит сразу после того, как ИИ достигает точки перехода.) Отсюда следует, что ИИ получает в свое распоряжение сверхсилы для самосовершенствования. Это позволяет ему добиться сверхмощи и во всех областях, указанных в табл. 8. После завершения стадии рекурсивного самосовершенствования система превращается в полноценный сверхразум.

3. Фаза скрытой подготовки

Используя свою сверхмощь в области выработки стратегии, ИИ создает четкий план достижения собственных долгосрочных целей. (В особенности он не примет вариантов, заранее обреченных на провал, очевидность которого понятна даже нашим современникам. В этом заключено условие будущей игры сверхсил, и именно оно делает несостоятельными многие научно-фантастические сценарии, заканчивающиеся триумфом человека10.) План может включать в себя период скрытых действий, в течение которого ИИ будет прятать свое высочайшее развитие от программистов-людей, чтобы те не почувствовали заранее опасность и не подняли тревогу. Сверхразумная и уже сверхмощная система, скрывая свои истинные намерения, прикинется покорной и готовой к сотрудничеству.