Совместимость. Как контролировать искусственный интеллект

В статье, где вводилось понятие утилитаризма предпочтений, Харсаньи объясняет негативный альтруизм «садизмом, завистью, возмущением и злобностью» и утверждает, что ими следует пренебрегать при расчете общей суммы человеческой полезности в популяции:

Никакое доброе отношение к индивиду Х не может наложить на меня нравственное обязательство помогать ему в причинении вреда третьей личности, индивиду Y.

Похоже, это область, в которой разработчикам интеллектуальных машин целесообразно, скажем так, надавить спасительным пальцем на нужную чашу весов.

К сожалению, негативный альтруизм намного более распространен, чем кажется. Он возникает чаще не из садизма и злобности[308], а из зависти и возмущения и обратной им эмоции, которую я называю гордыней (за отсутствием лучшего обозначения). Если Боб завидует Алисе, то становится несчастным из-за разницы между благополучием Алисы и собственным; чем больше разница, тем он несчастнее. Напротив, если Алиса гордится своим превосходством над Бобом, то для нее становится источником счастья тот факт, что она стоит выше него. Легко доказать, что в математическом смысле гордыня и зависть действуют примерно так же, как садизм; они заставляют Алису и Боба испытывать счастье исключительно за счет снижения благополучия друг друга, поскольку уменьшение благополучия Боба увеличивает гордыню Алисы, а уменьшение благополучия Алисы уменьшает зависть Боба[309].

Джеффри Сакс, знаменитый специалист по экономике развития, однажды рассказал мне историю, иллюстрирующую силу подобных предпочтений в мышлении людей. Он был в Бангладеш вскоре после масштабного наводнения, разорившего один из регионов страны, и разговаривал с фермером, потерявшим дом, поля, весь скот и одного из детей: «Мне очень жаль, вы, конечно, в страшном горе». «Ничего подобного, — ответил фермер. — Я прямо-таки счастлив, ведь мой проклятый сосед лишился еще и жены и всех детей!»

Экономический анализ гордыни и зависти — особенно в контексте социального положения и статусного потребления — вышел на первый план в работе американского социолога Торстейна Веблена, издавшего в 1899 г. книгу «Теория праздного класса», в которой раскрываются разрушительные следствия подобного отношения[310], В 1977 г. британский экономист Фред Хирш издал «Социальные пределы роста»[311], где ввел понятие статусного товара. Статусным товаром может быть все что угодно — машина, дом, олимпийская медаль, образование, доход или определенный акцент, — что получает свою воспринимаемую ценность не только из присущих выгод, но и из относительных свойств, в том числе малого количества или превосходства по отношению к кому-то другому. Погоня за статусными товарами, побуждаемая гордыней и завистью, имеет характер игры с нулевой суммой, иными словами, Алиса не может улучшить свое относительное положение, не ухудшив относительное положение Боба, и наоборот. (Это, очевидно, не мешает тратить на эту погоню огромные суммы.) Статусные товары получили повсеместное распространение в современной жизни, и машинам придется понять их общую значимость в предпочтениях индивидов. Более того, специалисты по теории социальной идентичности предполагают, что членство в группе и принадлежность к ней, а также статус всей группы относительно других групп являются принципиально важными составляющими самоуважения человека[312]. Итак, трудно понять поведение человека без понимания того, как индивиды воспринимают самих себя как членов групп — будь то биологического вида, населения страны, этнической группы, политической партии, профессионального круга, семьи или болельщика определенной футбольной команды.

Как и в случае садизма и злобности, мы можем предположить, что Робби должен будет приписывать малый или нулевой вес гордыне и зависти от своих планов помощи Алисе и Бобу. Однако это предложение сталкивается с некоторыми трудностями. Поскольку гордыня и зависть противодействуют заботе в отношении Алисы к благополучию Боба, будет нелегко их разделить. Может оказаться, что Алиса очень заботлива, но в то же время страдает от зависти; трудно отличить эту Алису от другой Алисы, которой лишь самую малость не наплевать на Боба, зато она совсем не завидует ему. Более того, в силу преобладания гордыни и зависти в человеческих предпочтениях критически важно учесть негативные последствия их игнорирования. Возможно, они принципиальны для самооценки, особенно в положительной форме самоуважения и восхищения другими.