Российская Академия Наук

Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания. Подробнее см. в статье Юдковски в приложении. В частности, мы воспринимаем ИИ как объект, который где-то находится, имеет чёткие границы, цели и т. д.

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить

Базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе неверное предположение – о локальности ИИ. Третье – о том, что ИИ не придёт в голову защитить своё питание, или замаскировавшись, или уйдя в сеть. Четвёртое – что программист не может быть в сговоре с ИИ (и/или обманут им).

10. Ошибочное представление о том, что, даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир

Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку.

Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан и будет это на самом деле это делать.

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо

Интеллект – это инструмент, который может иметь произвольную цель. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради этого они пишут стихи, доказывают теоремы, плетут заговоры. Поэтому наличие интеллекта не означает никакой однозначной цели. (И думать так, значит переходить от фактов к долженствованиям, что содержит в себе всегда логическую ошибку.) И уж тем более абстрактная цель (познать мир, например) не может быть конкретным благом для всех людей, ибо всё зависит от способов реализации этой цели.

14. Ошибочное представление о том, что современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки или сотни лет.

Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы. ИИ может возникнуть и завтра – компания a2i2 планирует завершить свой проект в 2008 г., другие проекты ориентируются на 2011 г. Существующие темпы прогресса в области создания мощных компьютеров достаточны, чтобы создать компьютеры, близкие по производительности нашему мозгу, в ближайшие годы, и нет неизбежных причин, по которым рост мощности компьютеров должен замедлится.

15. Ошибочное представление о том, что прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно

Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы

«X» может быть в разных интерпретациях творческое озарение, интуицию, быстрое распознавание образов, переживание чувств, осознание, любовь. Однако:

1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.

2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.

3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек –неалгоритмически