«Если», 2015 № 03

Печатается с разрешения автора.

Рассказ впервые опубликован в журнале

«Analog Science Fiction and Fact»

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ КАК ФАКТОР ГЛОБАЛЬНОГО РИСКА Элизер Юдковский Фрагменты из книги

_{/экспертное мнение}

_{/гуманитарные технологии}

 _{/искусственный интеллект}

До сих пор основной опасностью искусственного интеллекта (ИскИн) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена сферой ИскИнов. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает ее». Такая же проблема является чрезвычайно актуальной в области ИскИнов. Наука об ИскИне печально известна тем, что дает огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИскИн сложен, и это на самом деле правда. Критическим выводом является не то, что ИскИн сложен, а то, что по неким причинам людям очень легко полагать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

Систематическая ошибка,

связанная с антропоморфизмом

…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают — то есть ожидают человекоподобных качеств от того, что не является человеком.

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИскИн. Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИскИн». Этот термин я отношу не только к самой методике, но также и к ее продукту-то есть к ИскИну, созданному со специфической мотивацией.

Широта пространства возможных устройств ума

…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.

Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу — маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.