Совместимость. Как контролировать искусственный интеллект

Отрицание и преуменьшение рисков являются темами оставшихся глав книги. Как я уже утверждал, отказ от исследования ИИ маловероятен (поскольку слишком велики выигрыши от его использования) и очень трудноосуществим. Самоустранение представляется наихудшим выходом. Оно часто сопровождается идеей, что ИИ-системы, более интеллектуальные, чем мы, почему-то заслуживают унаследовать нашу планету, тогда как людям останется «уйти смиренно в сумрак вечной тьмы»^{11}, утешаясь мыслью, что наше блистательное электронное потомство решает собственные задачи. Этот взгляд сформулировал робототехник и футурист Ханс Моравек[199]. Он пишет: «Безграничность киберпространства будет наполнена нечеловеческими сверхумами, занятыми делами, которые рядом с человеческими заботами то же самое, что наши рядом с заботами бактерии». Мне кажется, что это ошибка. Ценность для людей определяется, прежде всего, сознательным человеческим существованием. Если нет людей и любых других сознающих сущностей, чей субъективный опыт является значимым для нас, то ничего ценного не происходит.

Глава 6. Спор вокруг не столь могущественного ИИ

«Последствия подселения на Землю второго разумного вида являются настолько далеко идущими, что об этом стоит поразмыслить»[200]. Так заканчивается рецензия журнала The Economist на «Сверхразумность» Ника Бострома. Большинство сочтут эти слова классическим примером британской сдержанности. Безусловно, рассуждаете вы, великие умы современности уже вовсю размышляют над этим вопросом — участвуют в серьезных дебатах, взвешивают риски и выгоды, ищут решения, выявляют слабые места этих решений и т. д. Пока еще нет, насколько мне известно!

Знакомя с этими идеями аудиторию технарей, буквально видишь всплывающие над головами присутствующих мысли, начинающиеся словами «Но ведь…» и заканчивающиеся восклицательными знаками.

Частица «но» имеет несколько смыслов. Первый носит характер отрицания. Отрицающие говорят: «Но это не может быть реальной проблемой по причине XYZ». Некоторые из этих XYZ отражают процесс мышления, который, мягко говоря, можно назвать самообольщением, другие более основательны. Второй тип «но» принимает форму уклонения: все верно, проблемы существуют, но не нужно пытаться их решать, потому ли, что они неразрешимы, или потому, что нашего внимания требуют более важные вещи, чем конец цивилизации, или потому, что лучше о них вообще не упоминать. Третьи «но» — упрощенные быстрые решения: «Но почему бы нам просто не сделать АВС?» Как и в случае отрицания, часть этих АВС попросту никчемны, но некоторые, может быть случайно, приближаются к обнаружению истинной природы проблемы.

Я не утверждаю, что в принципе невозможно рационально опровергнуть мысль о том, что неправильно сконструированные сверхинтеллектуальные машины будут представлять собой серьезный риск для человечества. Я всего лишь пока не слышал рациональных возражений. Поскольку вопрос кажется очень важным, он заслуживает публичного обсуждения самого высокого уровня. Итак, поскольку я заинтересован в подобном обсуждении и надеюсь, что читатель примет в нем участие, позвольте мне кратко охарактеризовать основные моменты, какими они видятся на сегодняшний день.

Отрицание

Отрицание того, что проблема вообще существует, — самый простой путь. Скотт Александер, автор блога Slate Star Codex, начал широко известную статью об опасности ИИ[201] такими словами: «Я начал интересоваться рисками, которые несет ИИ, еще в 2007 г. В то время реакцией большинства на эту тему были смех и предложение вернуться к ней, когда в нее поверит хоть кто-нибудь, кроме отдельных интернет-психов».

Попросту никчемные замечания

Воспринимаемая угроза делу всей жизни порой заставляет умнейших и обычно вдумчивых людей говорить нечто, что они предпочли бы исключить из дальнейшего рассмотрения. Поскольку это именно такой случай, я не стану называть имена авторов нижеследующих аргументов. Все они являются известными исследователями ИИ. Я добавил опровержения аргументов, хотя в этом и нет особой необходимости:

• Электронные калькуляторы обладают сверхчеловеческими возможностями в арифметике. Калькуляторы не захватили мир, следовательно, нет причин бояться сверхчеловеческого ИИ.

— Опровержение: интеллектуальность не равна умению производить арифметические действия, и способности калькуляторов производить арифметические действия не дают им возможности захватить мир.

• Лошади обладают сверхчеловеческой силой, но мы не ищем доказательств того, что они для нас неопасны; значит, нам незачем доказывать и безопасность ИИ-систем.