Краткие ответы на большие вопросы

Есть мнение, что люди смогут еще достаточно долгое время контролировать скорость развития технологий и что потенциал искусственного интеллекта поможет решить многие мировые проблемы. Мой оптимизм в отношении судеб человечества хорошо известен, но в данном случае у меня есть сомнения.

Например, военные разных стран мира рассматривают возможность в ближайшей перспективе начать гонку автономных оружейных систем, которые способны сами выбирать и уничтожать выбранные ими цели. Пока в ООН идут дебаты о запрещении такого рода оружия, его сторонники забывают задать себе очень важный вопрос: каков вероятный результат этой гонки и желательна ли она для человечества? Неужели мы действительно хотим, чтобы дешевое оружие с искусственным интеллектом стало «калашниковым» завтрашнего дня и приобреталось на черном рынке преступниками и террористами? Думая о нашей возможности сохранять в долгосрочной перспективе контроль над более совершенными системами искусственного интеллекта, следует ли вооружать их и доверять им нашу защиту? В 2010 году сбой в компьютеризованной системе торгов вызвал обвал на фондовом рынке США; как может выглядеть компьютерный сбой в области обороны? Лучшее время прекратить разработку автономных оружейных систем – сегодня.

В среднесрочной перспективе искусственный интеллект может автоматизировать различные области человеческой деятельности, обеспечив всем равенство и процветание. Заглядывая вперед, можно сказать, что их развитию нет предела. Не существует физических законов, препятствующих частицам организоваться в формы, которые осуществляли бы более совершенные расчеты, чем те, что происходят сейчас в человеческом мозгу. Возможен взрывной переход, хотя он может выглядеть не так, как в кино. Как показал в 1965 году математик Ирвинг Гуд, машины со сверхчеловеческим интеллектом могут неоднократно улучшать свою схему – практически бесконечно, или до момента, который писатель-фантаст Вернор Виндж назвал технологической сингулярностью. Можно представить такую технологию, которая будет прозорливее финансовых аналитиков, изобретательнее ученых, хитрее политических лидеров и, в принципе, подавит нас оружием, принцип действия которого мы даже не сумеем понять. Если в краткосрочной перспективе влияние искусственного интеллекта зависит от тех, кто его контролирует, то в долгосрочной будет зависеть от того, сможем ли мы контролировать его вообще.

Короче говоря, пришествие искусственного интеллекта может оказаться для человечества и наивысшим благом, и наивысшим злом. Риск, связанный с ним, – не в злом умысле, а в компетентности. Сверхразумный искусственный интеллект может оказаться исключительно хорош в достижении своих целей, но если эти цели не станут совпадать с нашими – у нас возникнут проблемы. Вероятно, вы не настолько ненавидите муравьев, чтобы давить их ногой при каждом удобном случае, но если вы руководитель проекта по строительству экологически чистой гидроэлектростанции, а в зоне затопления окажется муравейник – увы, тем хуже для муравьев. А теперь поставим человечество в положение этих муравьев. Мы должны смотреть вперед. Если высокоразвитая внеземная цивилизация пришлет нам сообщение «мы появимся в ближайшее время», сможете ли вы ответить «хорошо, дайте знать, мы оставим свет в гостиной»? Скорее всего, нет. Но именно так может произойти с искусственным интеллектом. Мало кто всерьез интересовался этой темой, за исключением очень немногих некоммерческих организаций.