Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Более того, мало кто из создателей ИИ, в отличие от теоретиков ИИ, озабочен построением дружественного ИИ. За одним-единственным исключением никто из десятка с лишним творцов ИИ, с которыми мне довелось разговаривать, не обеспокоен в достаточной мере тем, чтобы работать над «дружелюбием» ИИ или любыми другими защитными мерами. Возможно, мыслители переоценивают эту проблему, а может быть, проблема разработчиков — в незнании того, что они не знают. В одной популярной онлайн-газете Юдковски так написал об этом:

Человеческий вид возник в результате естественного отбора, действующего через неслучайное сохранение случайных мутаций. Один из путей, ведущих к глобальной катастрофе — к тому, что кто-то нажмет кнопку, плохо представляя себе, что именно эта кнопка делает, — состоит в том, что искусственный интеллект возникает в результате аналогичного процесса постепенного набора рабочих алгоритмов, при том что исследователи не особенно хорошо понимают, как работает система в целом (курсив мой. — Дж. Б.).

Незнание того, как построить дружественный ИИ, не смертельно само по себе… А вот ошибочная убежденность в том, что любой ИИ будет дружественным, — очевидный путь к глобальной катастрофе.

Считать, что ИИ человеческого уровня (УЧИ) будет непременно дружественным, неверно по многим причинам. Такое убеждение становится еще более опасным после того, как интеллект УЧИ начинает стремительно расти, оставляя наш далеко позади, и превращается в ИСИ — искусственный суперинтеллект. Так как же создать дружественный ИИ? Или вы считаете, что можно привить машине «дружелюбие» уже готовому продвинутому ИИ? Юдковски написал и выложил в Интернет трактат размером с книгу, посвященный этим вопросам и озаглавленный «Создание дружественного ИИ: Анализ и дизайн доброжелательных целевых архитектур». Дружественный ИИ — вопрос настолько сложный для понимания и при этом настолько важный, что ставит в тупик даже главного своего поборника, который пишет:

Достаточно одной ошибки в цепи рассуждений, чтобы неожиданно для себя оказаться аж во Внешней Монголии.

Начнем с простого определения. Дружественный ИИ — это ИИ, который оказывает скорее положительное, нежели отрицательное влияние на человечество. Дружественный ИИ имеет собственные цели и предпринимает действия для их достижения. Теоретики описывают успех ИИ в достижении его целей при помощи экономического термина «полезность». Из вводного курса по экономической теории известно, что разумные потребители стараются максимально увеличить полезность, расходуя свои ресурсы таким образом, чтобы получить от них максимальное удовлетворение. В случае ИИ удовлетворение получается от достижения целей, а любое действие, продвигающее ИИ к достижению его целей, характеризуется высокой «полезностью».

Ценности и предпочтения вкупе с удовлетворением от достижения цели можно поместить во встроенное в ИИ определение пользы, назвав его «функцией полезности». Дружественность по отношению к человеку — одна из ценностей, которыми, на наш взгляд, должен обладать ИИ. Поэтому неважно, какие цели ставит перед собой ИИ — от игры в шахматы до управления автомобилем, — защита человеческих ценностей (и человека как такового) должна составлять существенную часть кодекса его поведения.

Надо отметить, что здесь имеется в виду не то дружелюбие, о каком обычно говорят телевизионные проповедники, — хотя и это не повредит. В нашем случае дружественность означает, что ИИ не должен быть враждебно или амбивалентно настроен по отношению к людям никогда, какими бы ни были его цели и сколько бы ступеней самосовершенствования он ни прошел. ИИ должен глубоко понимать нашу природу и не наносить вреда людям даже случайно, даже через непредвиденные последствия своих действий (что нередко происходило в рассказах Азимова в рамках действия Трех законов робототехники). То есть мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).