Совместимость. Как контролировать искусственный интеллект

Второй вопрос составляет основу социальных наук: с учетом того, что обычно невозможно гарантировать получение каждым своего самого предпочитаемого результата — мы все не можем быть императорами Вселенной, — как машине примирить предпочтения многочисленных людей? Опять-таки пока — обещаю, что вернусь к этому вопросу в следующей главе, — представляется разумным принять простой подход, что все равны. Это заставляет вспомнить о корнях утилитаризма XVIII в. с его идеалом «наибольшее счастье наибольшему числу людей»[239], для практической реализации которого требуется много оговорок и уточнений. Пожалуй, самым важным из всех является вопрос о том, каким образом учесть предпочтения очевидно громадного числа людей, которые еще не родились.

Вопрос о будущих поколениях поднимает следующий, связанный с ним: как учесть предпочтения существ, не являющихся людьми? А именно — должен ли первый принцип включать предпочтения животных? (Возможно, и растений?) Этот вопрос заслуживает обсуждения, но результат едва ли окажет заметное влияние на движение к созданию ИИ. Вообще говоря, человеческие предпочтения могут включать — и включают — условия благополучия животных, а также те аспекты благополучия человека, которые непосредственно выигрывают от существования животных[240]. Сказать, что машина должна уделять внимание предпочтениям животных в дополнение к этому, равносильно утверждению, что люди должны строить машины, больше заботящиеся о животных, чем сами люди, — довольно шаткая позиция. Более устойчивая состоит в том, что наша склонность к ошибочному принятию решений — играющая против наших же интересов — часто приводит к негативным последствиям для окружающей среды и ее обитателей-животных. Машина, принимающая менее близорукие решения, помогла бы людям следовать более осмысленной политике в отношении среды обитания. Если в будущем мы станем придавать значительно большее значение благополучию животных, чем сейчас, — что, по-видимому, требует отказа от части нашего собственного объективного благополучия, — машины соответствующим образом адаптируются к этому изменению.

Второй принцип: смиренные машины

Второй принцип: машина изначально не уверена, в чем заключаются предпочтения человека, — это ключ к созданию полезных машин.

Машина, предполагающая, что идеально знает истинную задачу, будет настойчиво ее преследовать. Она никогда не спросит, правилен ли определенный порядок действий, поскольку уже знает, что это оптимальное решение данной задачи. Она будет игнорировать людей, мечущихся вокруг нее с криками: «Остановись, ты сейчас уничтожишь мир!» — потому что это всего лишь слова. Убежденность в совершенном знании задачи отделяет машину от человека: что делает человек, уже не важно, раз машина знает цель и преследует ее.

Напротив, машина, не уверенная в истинной цели, будет проявлять нечто вроде смирения, например подчиняться людям и позволять себя выключить. Она рассуждает, что человек отключит ее, только если она делает что-то неправильное, то есть противоположное предпочтениям человека. По первому принципу она хочет избежать таких действий, но по второму принципу знает, что это возможно, поскольку ей неизвестно наверняка, «что не так». Получается, если человек все-таки отключает машину, то машина избегает совершения неправильного действия, чего она и желает. Иными словами, машина имеет положительный стимул позволить себя выключить. Она остается связанной с человеком как потенциальным источником информации, которая позволит ей избежать ошибок и лучше сделать свою работу.

Неопределенность является главной темой в разработке ИИ с 1980-х гг.; выражение «современный ИИ» часто относится к революции, совершившейся, когда неопределенность была, наконец, признана закономерностью принятия решений в реальном мире. Тем не менее неопределенность задачи ИИ-системы попросту игнорировалась. Во всех работах по максимизации полезности, достижению целей, минимизации затрат, максимизации вознаграждения и минимизации потерь предполагалось, что функция полезности, целевая функция, функция издержек, функция вознаграждения, функция потерь в точности известна. Но почему? Как сообщество разработчиков ИИ (а также специалистов по теории управления, исследованию операций и статистике) может так долго не замечать огромное слепое пятно^{13}, признавая неопределенность во всех остальных сторонах принятия решений?[241]

Можно приводить довольно сложные объяснения[242], но я подозреваю, что исследователи ИИ, за некоторыми досточтимыми исключениями[243], попросту уверовали в стандартную модель, переносящую понятие человеческого разума на машинный: люди имеют цели и преследуют их, значит, и машины должны иметь цели и преследовать их. Они — точнее говоря, мы — никогда всерьез не анализировали это фундаментальное допущение. Оно встроено в существующие подходы к конструированию интеллектуальных систем.

Третий принцип: учиться, чтобы прогнозировать предпочтения человека