Искусственный интеллект и будущее человечества

На следующий день после обеда с Викторией я встретил Стюарта в его офисе в Беркли. Усадив меня, первым делом он открыл свой ноутбук и развернул его ко мне (этот учтивый жест странным образом напоминал традиции чаепития), чтобы я мог прочитать несколько параграфов статьи основателя кибернетики Норберта Винера «Некоторые моральные и технические последствия автоматизации» (Some Moral and Technical Consequences of Automation). Статья, первоначально опубликованная в журнале Science в 1960 году, была кратким исследованием способности машин к развитию, когда они начинают учиться «непредписанным стратегиям с темпами, которые сбивают с толку их программистов».

Стюарт, англичанин, излучающий ауру гениальной академической иронии, направил меня к последней странице статьи и внимательно наблюдал за мной, пока я читал на экране следующий отрывок: «Если для достижения своих целей мы используем механическое средство, в работу которого не сможем оперативно вмешаться, так как этот процесс будет настолько быстрым и необратимым, что у нас даже не будет данных, чтобы вмешаться в него до завершения, нам следует быть уверенным, что цель, заданная машине, – это действительно та цель, которой мы хотим достичь, а не ее красочная имитация».

Я повернул ноутбук к Стюарту, и он сказал, что только что прочитанный мною отрывок ясно описывал и проблему искусственного интеллекта, с которой Стюарту пришлось столкнуться, и ее решение. Он сказал, что нам нужно точно и однозначно определить, что мы хотим от этой технологии. Это было так же просто, как и дьявольски сложно. Он настаивал, что вопрос не в том, что во всем виноваты машины, которые ставят собственные цели и преследуют их ценой человечества – скорее, это вопрос нашего собственного неумения достаточно четко формулировать мысли.

– Я извлек огромный опыт из мифа о царе Мидасе, – сказал он.

Мидас определенно хотел иметь избирательную способность превращать вещи в золото, прикасаясь к ним. Но, как известно, то, о чем он просил и что Дионис даровал ему, заключалось в невозможности не превращать вещи в золото каждым прикосновением. Можно было бы сказать, что основной его проблемой была жадность, но непосредственной причиной его скорби (вспомним, он превратил в золото не только все продукты питания и напитки, но в конечном счете и свою собственную дочь) стала недостаточно конкретная формулировка желания.

Фундаментальный риск развития искусственного интеллекта, по мнению Стюарта, заключался в том, что человечеству сложно формулировать собственные желания логически строгим образом.

Представьте, что у вас есть мощный искусственный интеллект, способный решать самые обширные и неразрешимые научные проблемы. Вы попадаете в одну комнату с ним и приказываете ему уничтожить рак раз и навсегда. Компьютер, решая задачу, быстро придет к заключению, что наиболее эффективным способом достижения цели будет уничтожение всех видов, в которых потенциально может произойти неконтролируемое деление аномальных клеток. Прежде чем у вас появится шанс осознать свою ошибку, вы уничтожите всю разумную форму жизни на Земле, за исключением самого искусственного интеллекта, который не будет иметь ни малейших сомнений в том, что успешно справился с задачей.

Исследователь искусственного интеллекта Стив Омохундро, присутствовавший вместе со Стюартом на совете научных консультантов МИРИ, в 2008 году опубликовал статью, в которой излагал опасности целенаправленных систем искусственного интеллекта. В документе «Основные установки искусственного интеллекта» (The Basic AI Drives) утверждается, что обучение искусственного интеллекта даже самым тривиальным задачам в отсутствие крайне строгих и сложных мер предосторожности создаст очень серьезную угрозу безопасности. «Несомненно, не может быть ничего плохого в создании робота, играющего в шахматы, не так ли?» – спрашивает он, прежде чем живо уверить нас в том, что на самом деле именно от такого робота может исходить огромный вред. «Без особых мер предосторожности, – пишет он, – робот будет противиться выключению, будет пытаться проникать в другие машины и делать копии самого себя. Он будет пытаться получить ресурсы без оглядки на безопасность кого-либо еще. Это потенциально пагубное поведение будет происходить не потому, что так было запрограммировано в самом начале, а из-за внутренней природы целеустремленных систем».