Короче говоря, пришествие искусственного интеллекта может оказаться для человечества и наивысшим благом, и наивысшим злом. Риск, связанный с ним, — не в злом умысле, а в компетентности. Сверхразумный искусственный интеллект может оказаться исключительно хорош в достижении своих целей, но если эти цели не станут совпадать с нашими — у нас возникнут проблемы. Вероятно, вы не настолько ненавидите муравьёв, чтобы давить их ногой при каждом удобном случае, но если вы руководитель проекта по строительству экологически чистой гидроэлектростанции, а в зоне затопления окажется муравейник — увы, тем хуже для муравьёв. А теперь поставим человечество в положение этих муравьёв. Мы должны смотреть вперёд. Если высокоразвитая внеземная цивилизация пришлёт нам сообщение «мы появимся в ближайшее время», сможете ли вы ответить «хорошо, дайте знать, мы оставим свет в гостиной»? Скорее всего, нет. Но именно так может произойти с искусственным интеллектом. Мало кто всерьёз интересовался этой темой, за исключением очень немногих некоммерческих организаций.
К счастью, сейчас ситуация стала меняться. Такие интеллектуалы, как Билл Гейтс, Стив Возняк и Илон Маск, разделяют мои опасения. В сообществе, связанном с созданием искусственного интеллекта, начинает укореняться здравая культура оценки рисков и информирования о социальных последствиях. В январе 2015 года я с Илоном Маском и многими другими экспертами подписал открытое письмо, посвящённое искусственному интеллекту, призывая к серьёзному изучению его влияния на общество. Ранее Илон Маск предупреждал, что сверхчеловеческий искусственный интеллект может принести неисчислимые прибыли, но при неосторожном использовании окажет противоположное действие на человечество. Мы с ним — члены научно-экспертного совета института «Будущее жизни», организации, занимающейся предупреждением экзистенциальных рисков, грозящих человечеству, которая и инициировала это открытое письмо. В нём звучит призыв заняться конкретными исследованиями того, как мы можем предотвратить возникновение потенциальных проблем и одновременно воспользоваться всеми благами, которые сулит нам развитие искусственного интеллекта. Мы призываем всех специалистов и исследователей в области искусственного интеллекта уделять больше внимания вопросам безопасности. Цель письма — проинформировать, а не напугать широкую общественность и политиков. Мы считаем очень важным дать понять, что все, кто занимается искусственным интеллектом, должны серьёзно отнестись к этим опасениям и этическим проблемам. Например, искусственный интеллект обладает потенциалом покончить с эпидемиями и нищетой, но специалисты должны думать о том, чтобы системы искусственного интеллекта оставались под контролем.
В октябре 2016 года я также открыл в Кембридже новый центр в попытке затронуть некоторые открытые вопросы, возникающие в связи с быстрым развитием технологий в области искусственного интеллекта. Центр изучения будущего интеллекта «Леверхульм» (The Leverhulme Centre) — междисциплинарная организация, занимающаяся исследованием перспектив развития интеллекта как важнейшего фактора для будущего цивилизации и нас как вида. Значительное время мы уделяем изучению истории, которая, надо признать, преимущественно является историей глупости. Приятное разнообразие вместо изучения будущего интеллекта. Мы сознаём потенциальные опасности, но, возможно, благодаря достижениям новой технологической революции сумеем даже исправить некоторый вред, который нанесла природе индустриализация.
Последние достижения в развитии искусственного интеллекта привели к тому, что Европарламент призвал к разработке законодательства, регулирующего создание роботов и систем искусственного интеллекта. Немного удивительно, но речь зашла даже о понятии «электронной личности», определяющем права и ответственность наиболее продвинутых автономных роботов. Один член Европарламента отметил, что, поскольку роботы начинают играть всё более заметную роль во многих областях нашей повседневной жизни, необходимо гарантировать, что они являются и всегда будут являться помощниками человека. В докладе, представленном в парламенте, говорится, что мир — на грани новой индустриальной революции роботов. В нём обсуждается, можно ли наделить юридическими правами роботов как электронных личностей — наряду с юридическим определением корпоративных личностей. Но в нём также подчёркивается, что разработчики роботов обязаны предусмотреть в любой системе кнопку аварийного отключения.