Совместимость. Как контролировать искусственный интеллект

Независимо от технологической осуществимости этих идей, следует задаться вопросом, обещает ли это направление исследований наилучшее возможное будущее для человечества. Если людям нужно сделать себе операцию на мозге только для того, чтобы пережить угрозу ими же созданной технологии, вероятно, мы где-то ошиблись.

…не ставить перед ИИ человеческие цели?

Это распространенная логика — проблемное поведение ИИ порождается постановкой задач определенного типа; исключаем эти задачи, и все прекрасно. Скажем, Ян Лекун, первопроходец глубокого обучения, директор Facebook по исследованию ИИ, часто приводит эту мысль, когда старается преуменьшить риск, который несет ИИ[227]:

У ИИ нет причины для инстинкта самосохранения, ревности и прочего… У ИИ-систем не будет этих деструктивных «эмоций», если мы не встроим в них эти эмоции. Не представляю, что бы побудило нас к этому.

В аналогичном ключе строит гендерный анализ Стивен Пинкер[228]:

Рисующие будущее с ИИ в виде антиутопии проецируют шовинистическую психологию альфа-самца на понятие интеллектуальности. Они предполагают, что сверхчеловечески интеллектуальные роботы станут ставить перед собой такие цели, как свержение своих повелителей или порабощение мира… Показательно, что многие наши технопророки даже не рассматривают возможность, что ИИ естественным образом будет развиваться по феминному типу: способный решить любые проблемы, но не имеющий ни малейшего желания уничтожать невинных или господствовать над цивилизацией.

Как мы убедились, обсуждая инструментальные цели, неважно, встроим ли мы в машину такие «эмоции» или «желания», как самосохранение, получение ресурсов, обретение знания или, в крайнем проявлении, покорение мира. Машина все равно приобретет эти эмоции в качестве подцелей любой задачи, которую мы перед ней все-таки поставим, — причем независимо от своего гендера. Для машины смерть сама по себе не есть зло. Смерти тем не менее нужно избегать, поскольку трудно подать кофе, если ты мертв.

Еще более радикальное решение состоит в том, чтобы вообще не ставить цели перед машинами. Вуаля, проблема решена! Увы, все не так просто. Без цели нет разума: любое действие не хуже и не лучше всякого другого, и машина с тем же успехом может быть просто генератором случайных чисел. Без целей нет и причины, чтобы машина предпочитала человеческий рай планете, превращенной в море скрепок (сценарий, подробно описанный Ником Бостромом). Действительно, последний вариант показался бы утопией поедающей железо бактерии Thiobacillus ferrooxidans. Если отсутствует понимание того, что предпочтения человека важны, как можно утверждать, что бактерия не права?

Распространенной разновидностью идеи «избегания постановки целей» является мысль о том, что интеллектуальная система обязательно — вследствие своей интеллектуальности — сама выработает «правильные» цели. Часто ее сторонники ссылаются на теорию, что более умные люди чаще преследуют альтруистические и благородные цели, — возможно, это убеждение связано с их представлением о самих себе.

Идея, что можно воспринять цели из мира, была подробно рассмотрена знаменитым философом XVIII в. Дэвидом Юмом в «Трактате о человеческой природе»[229]. Он назвал ее проблемой «есть — должно быть»^{12} и пришел к выводу, что полагать, будто нравственные императивы могут быть выведены из естественных фактов, — ошибка. Чтобы увидеть это, рассмотрим, к примеру, устройство шахматной доски и шахматные фигуры. Невозможно понять по ним цель шахматной игры, поскольку та же самая доска и фигурки могут использоваться и для игры в поддавки, и для многих других игр, которые еще не изобретены.

Ник Бостром в «Сверхразумности» подает ту же базовую идею в иной форме, называя ее тезисом ортогональности:

Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, комбинироваться с более или менее любой конечной целью.