Совместимость. Как контролировать искусственный интеллект

Трудность, которую имеют в виду Джевонс и Эрроу, заключается в отсутствии очевидного способа установить, оценивает ли Алиса уколы булавкой и леденцы по шкале от −1 до +1 или от −1000 до +1000 в смысле своего субъективного переживания счастья. В любом случае она отказалась бы от одного леденца, чтобы избежать одного укола. Действительно, если бы Алиса была человекоподобным роботом, внешне она могла бы вести себя так же даже в отсутствие какого бы то ни было субъективного переживания счастья.

В 1974 г. американский философ Роберт Нозик предположил, что, даже если бы межличностное сравнение полезностей было возможно, максимизация суммы полезностей все равно была бы плохой идеей, потому что вступила бы в противоречие с монстром полезности — абстрактным человеком, чьи ощущения удовольствия и боли во много раз интенсивнее, чем у обычных людей[294]. Такой человек счел бы, что любая дополнительная единица ресурсов привела бы к большему увеличению общей суммы счастья человечества, если бы досталась ему, а не другим. Тогда и отнимать ресурсы у других во благо монстра полезности также было бы хорошей идеей.

Казалось бы, это нежелательное последствие, но консеквенциализм сам по себе здесь бессилен: проблема заключается в том, как мы измеряем желательность последствий. Один из возможных ответов состоит в том, что монстр полезности — теоретический конструкт, таких людей не бывает. Однако вряд ли такой ответ сработает: в определенном смысле все люди являются монстрами полезности по сравнению, скажем, с крысами и бактериями, поэтому мы и не обращаем внимания на предпочтения крыс и бактерий, вырабатывая меры общественной политики.

Если мысль о том, что разные сущности имеют разные шкалы полезности, уже встроена в наше мышление, то кажется более чем вероятным, что и у разных людей имеются разные шкалы.

Другая возможная реакция заключается в том, чтобы воскликнуть: «Что ж, не повезло!» — и действовать исходя из предположения, что у всех одна и та же шкала, даже если это не так[295]. Можно также попытаться изучить этот вопрос научными средствами, недоступными Джевонсу, например измерить уровни дофамина или степень электрического возбуждения нейронов в ответ на удовольствие и боль, счастье и несчастье. Если химические и нервные отклики Алисы и Боба на леденец практически одинаковы, как и их поведенческие реакции (они улыбаются, причмокивают губами и т. д.), представляется нелепым настаивать, что их субъективные степени удовольствия все равно отличаются в тысячу или миллион раз. Наконец, можно было бы воспользоваться единой валютой скажем, временем (которого у всех нас, очень приблизительно, поровну), — например, соотнеся леденцы и булавочные уколы, допустим, с пятью минутами дополнительного ожидания в зоне вылета аэропорта.

Я значительно менее пессимистичен, чем Джевонс и Эрроу. Я подозреваю, что действительно имеет смысл сравнивать полезности индивидов и что шкалы могут отличаться, но не в большой степени, и что машины могут начинать с разумно общих исходных представлений о шкалах человеческих предпочтений и постепенно узнавать больше об индивидуальных шкалах путем наблюдения, возможно соотнося натурные наблюдения с результатами исследований нейробиологов.

Второй предмет дебатов — о сравнении полезности популяций разной величины — имеет значение, если решения влияют на то, кто будет существовать в будущем. Например, в фильме «Мстители: Война бесконечности» Танос формулирует и реализует теорию, что если людей станет в два раза меньше, то оставшиеся будут более чем в два раза счастливее. Это те самые наивные расчеты, из-за которых утилитаризм приобрел дурную славу[296].

Тот же вопрос — только без камней бесконечности^{16} и грандиозного бюджета — рассматривался в 1874 г. британским философом Генри Сиджвиком в знаменитом труде «Методы этики»[297]. Сиджвик, очевидно, разделяя убеждение Таноса, пришел к выводу, что правильный выбор состоит в коррекции численности популяции, пока не будет достигнута максимальная совокупная мера счастья. (Очевидно, это не предполагает безграничного увеличения населения, поскольку в какой-то момент все будут обречены на голодную смерть, следовательно, станут весьма несчастными.) В 1984 г. британский философ Дерек Парфит вновь поднял этот вопрос в своей эпохальной работе «Причины и личности»[298]. Парфит утверждает, что в любой ситуации с популяцией из N очень счастливых людей имеется (согласно принципам утилитаризма) предпочитаемая ситуация с 2N человек, совсем немного менее счастливых. Это представляется чрезвычайно правдоподобным. К сожалению, это ведет на скользкую дорогу. Повторяя процесс, мы придем к так называемому Отталкивающему выводу (термин принято писать с большой буквы, вероятно, чтобы подчеркнуть его викторианские корни): самой желательной является ситуация с огромной популяцией, все представители которой вынуждены влачить едва того стоящее существование.