Краткие ответы на большие вопросы

По мере того как достижения в этих областях выходят за пределы лабораторий и становятся экономически выгодными технологиями, возникает круг благоразумия, при котором даже небольшие усовершенствования приносят значительные суммы денег, что стимулирует всё новые и новые вложения в научные разработки. Сейчас широко признано, что исследования в области искусственного интеллекта демонстрируют устойчивый прогресс и что их влияние на общество соответственно увеличивается. Потенциальная выгода огромна; мы даже не можем представить, какие достижения нас ждут впереди, если наши умственные способности получат подкрепление в виде средств, предоставляемых разработчиками искусственного интеллекта. Появляется возможность покончить с эпидемиями и нищетой. Но в силу огромного потенциала искусственного интеллекта важно исследовать, как наилучшим способом воспользоваться преимуществами и избежать возможных подводных камней. Успех в создании искусственного интеллекта станет величайшим событием в истории человечества.

К сожалению, он может оказаться и последним, если мы не научимся избегать рисков. Искусственный интеллект в качестве инструмента может усилить наши существующие интеллектуальные способности, что позволит продвинуться вперёд во всех областях науки и состояния общества. Но он может представлять опасность. Существующие примитивные формы искусственного интеллекта доказали свою полезность, но я опасаюсь последствий создания чего-то такого, что может сравниться с человеком или превзойти его. Есть основания полагать, что искусственный интеллект замкнётся сам на себя и начнёт ускоренным темпом заниматься самоусовершенствованием. Люди, ограниченные малой скоростью биологической эволюции, не смогут конкурировать с ним и окажутся вытесненными. А ещё в будущем искусственный интеллект может обрести собственную волю, которая вступит в конфликт с нашей.

Есть мнение, что люди смогут ещё достаточно долгое время контролировать скорость развития технологий и что потенциал искусственного интеллекта поможет решить многие мировые проблемы. Мой оптимизм в отношении судеб человечества хорошо известен, но в данном случае у меня есть сомнения.

Например, военные разных стран мира рассматривают возможность в ближайшей перспективе начать гонку автономных оружейных систем, которые способны сами выбирать и уничтожать выбранные ими цели. Пока в ООН идут дебаты о запрещении такого рода оружия, его сторонники забывают задать себе очень важный вопрос: каков вероятный результат этой гонки и желательна ли она для человечества? Неужели мы действительно хотим, чтобы дешёвое оружие с искусственным интеллектом стало «калашниковым» завтрашнего дня и приобреталось на чёрном рынке преступниками и террористами? Думая о нашей возможности сохранять в долгосрочной перспективе контроль над более совершенными системами искусственного интеллекта, следует ли вооружать их и доверять им нашу защиту? В 2010 году сбой в компьютеризованной системе торгов вызвал обвал на фондовом рынке США; как может выглядеть компьютерный сбой в области обороны? Лучшее время прекратить разработку автономных оружейных систем — сегодня.

В среднесрочной перспективе искусственный интеллект может автоматизировать различные области человеческой деятельности, обеспечив всем равенство и процветание. Заглядывая вперёд, можно сказать, что их развитию нет предела. Не существует физических законов, препятствующих частицам организоваться в формы, которые осуществляли бы более совершенные расчёты, чем те, что происходят сейчас в человеческом мозгу. Возможен взрывной переход, хотя он может выглядеть не так, как в кино. Как показал в 1965 году математик Ирвинг Гуд, машины со сверхчеловеческим интеллектом могут неоднократно улучшать свою схему — практически бесконечно, или до момента, который писатель-фантаст Вернор Виндж назвал технологической сингулярностью. Можно представить такую технологию, которая будет прозорливее финансовых аналитиков, изобретательнее учёных, хитрее политических лидеров и, в принципе, подавит нас оружием, принцип действия которого мы даже не сумеем понять. Если в краткосрочной перспективе влияние искусственного интеллекта зависит от тех, кто его контролирует, то в долгосрочной будет зависеть от того, сможем ли мы контролировать его вообще.