Российская Академия Наук

Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. (Похожие идеи развивает в статье М. Омохундро «Базовые инстинкты ИИ» , где он показывает, что любой ИИ с фиксированной системой целей с высокой вероятностью эволюционирует в сторону состояния, в котором он будет склонен защищать себя, распространяться, совершенствовать свой собственный код, получать признаки цели вместо самой цели, как человек с помощью наркотика, и защищать свою систему целей от изменений.) Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.

Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.

Что нужно для ИИ в смысле технологии

Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит ИИ тоже мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет примерно в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами ) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков.

Почему ИИ является универсальным абсолютным оружием