Знание-сила, 2009 № 05 (983)

Иначе говоря, люди полагают, что уже обладают достаточными знаниями и навыками, чтобы, не задумываясь, давать ответ о реальности и вероятности тех или иных рисков. Корнем этого является такой широко известный психологический феномен, как сверхуверенность. Он очень ярко проявляет себя, когда надо дать оценку времени завершения какого-либо проекта. В ходе исследования группу студентов опросили на тему, сколько времени потребуется на завершение дипломной работы, если все сложится хорошо и если все сложится плохо. В результате оказалось, что большинство студентов закончило свою работу за время худшее, чем в самом худшем случае, которого они ожидали. В случае с глобальными катастрофами этот же феномен может проявиться наоборот — она может случиться раньше, чем наша самая оптимистичная реалистичная оценка. Сверхуверенность приводит к тому, что людям очень трудно сказать «я не знаю» даже в отношении вещей, которые они действительно не знают и знать не могут. Например, большинство людей имеет мнение о том, возможен или невозможен искусственный интеллект (ИИ), тогда как на самом деле никто этого знать наверняка пока не может.

Кроме психологических, есть и большой класс логических ошибок.

Например, часто гипотезы о том, что нечто возможно и нечто невозможно, воспринимаются как равнозначные (так, например, непрерывно возникают альтернативы в духе «возможен ли самовоспроизводящийся наноробот или нет»).

Следующая важная особенность данного направления исследований — сдвиг в оценке того, какова возможная роль сильного искусственного интеллекта в рисках человеческому существованию. Тот же Юдковски написал статью «ИИ как позитивный и негативный фактор глобального риска». С точки зрения создаваемого ИИ риска, не имеет значения вопрос, обладает ли ИИ сознанием или нет. С точки зрения безопасности, для нас важна способность ИИ побеждать человека в любых играх. Если бы жизнь человечества зависела от поединка Каспарова с Deep Blue, мы бы уже проиграли.

Основная опасность ИИ состоит в том, что теоретически возможен его экспоненциальный рост, после того как он перейдет некий критический порог. Этот процесс самоусиления ИИ опасен тем, что неизвестно, как при этом будет сохраняться неизменной его система целей и какую вообще систему целей следовало бы для него создать. Данный вопрос о программировании будущего сильного ИИ известен под названием проблема «Дружественности ИИ» и исследуется в Институте сингулярности в Калифорнии. Есть также подробно разработанные ответы на вопрос, как сильный ИИ мог бы вырваться из своей родной лаборатории и как бы он мог «установить власть над миром», если бы это соответствовало его целевой функции.

Гипотетический момент возникновения самоусиливающегося ИИ известен под названием «Технологической сингулярности». В. Виндж на основании закона Мура и числа нейронов в мозгу человека предположил, что это событие произойдет между 2005-м и 2030 годом, когда вычислительная мощность крупнейших компьютеров сравняется с мощностью человеческого мозга, а затем превзойдет ее. Ряд других исследователей также склоняются к оценке в районе 2030 года.

В. Виндж

Интересно отметить, что эта оценка независимо возникает и в других прогностических кривых, которые ничего не говорят о проблеме ИИ, а связаны с числом людей на Земле. В 1960 году Хайнц фон Ферстер опубликовал статью, названную «Судный день: пятница, 13 ноября 2026 года», в которой показал, что если тенденция к гиперболическому росту населения, которую он обнаружил на основании данных последних 2000 лет, продолжится, то к названному дню население человечества станет бесконечным. К таким же выводам приходит С. Капица в своей книге «Сколько людей жило, живет и будет жить на Земле».