Читаем Совместимость. Как контролировать искусственный интеллект полностью

А: 100 % вероятности получить $10 000 000 (ожидаемая ценность $10 000 000).

Б: 1 % вероятности получить $1 000 000 100 (ожидаемая ценность $10 000 001).

Большинство читателей этой книги, как и ее автор, предпочли бы ставку А, несмотря на то что ожидаемая ценность призывает к противоположному выбору! Бернулли предположил, что ставки оцениваются не по ожидаемой денежной ценности, а по ожидаемой полезности. Полезность – способность приносить человеку пользу или выгоду – является, по его мысли, внутренним, субъективным качеством, связанным, но не совпадающим с денежной ценностью. Главное, полезность отличается убывающей доходностью по отношению к деньгам. Это означает, что полезность данной суммы денег не строго пропорциональна сумме, но возрастает медленнее ее. Например, полезность владения суммой в $1 000 000 100 намного меньше сотни полезностей владения $10 000 000. Насколько меньше? Спросите об этом себя! Какими должны быть шансы выиграть $1 млрд, чтобы это заставило вас отказаться от гарантированных $10 млн? Я задал этот вопрос своим студентам, и они ответили, что около 50 %, из чего следует, что ставка Б должна иметь ожидаемую ценность $500 млн, чтобы сравниться с желательностью ставки А. Позвольте повторить: ставка Б была бы в 50 раз выше ставки А в денежном выражении, но обе ставки имели бы равную полезность.

Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Полезность приходится выводить из предпочтений, демонстрируемых индивидом. Пройдет два столетия, прежде чем практические выводы из этой идеи будут полностью разработаны и она станет общепринятой среди статистиков и экономистов.

В середине XX в. Джон фон Нейман (великий математик, в честь которого названа архитектура компьютеров – «архитектура фон Неймана»[27]) и Оскар Моргенштерн опубликовали аксиоматическую основу теории полезности[28]. Имеется в виду следующее: поскольку предпочтения, выражаемые индивидом, отвечают определенным базовым аксиомам, которым должен отвечать любой рациональный агент, выбор, сделанный этим индивидом, неизбежно может быть описан как максимизирующий ожидаемое значение функции полезности. Короче говоря, рациональный агент действует так, чтобы максимизировать ожидаемую полезность.

Трудно переоценить важность этого вывода. Во многих отношениях поиск ИИ заключается в том, чтобы выяснить, как именно строить рациональные машины.

Давайте подробнее рассмотрим аксиомы, которым, предположительно, должны удовлетворять рациональные сущности. Одна из них называется транзитивностью: если вы отдаете предпочтение А перед Б и Б перед В, то вы отдаете предпочтение А перед В. Это кажется вполне разумным! (Если пицца с сосисками нравится вам больше стандартной пиццы, а стандартная больше пиццы с ананасом, то представляется обоснованным предположить, что, выбирая между пиццей с сосисками и пиццей с ананасом, вы остановитесь на первой.) Вот еще одна аксиома, монотонность: если вы отдаете предпочтение призу А перед призом Б и можете выбирать между лотереями, единственными возможными выигрышами в которых являются А и Б, то предпочтете лотерею с наивысшей вероятностью выиграть приз А, а не Б. Опять-таки разумно!

Предпочтения касаются не только пиццы и денежных лотерей. Они могут быть связаны с чем угодно, в частности со всей будущей жизнью, вашей и других людей. Применительно к предпочтениям, касающимся последовательностей событий во времени, часто делается еще одно допущение – о так называемой стационарности: если два разных будущих, А и Б, начинаются с одного и того же события и вы отдаете предпочтение А перед Б, то будете предпочитать А и после того, как это событие произойдет. Это звучит разумно, но имеет на удивление значимое следствие: полезность любой цепи событий есть сумма вознаграждений, связанных с каждым событием (возможно, уценивающихся со временем на своего рода процентную ставку)[29]. Несмотря на повсеместную распространенность предположения о «полезности как сумме вознаграждений» – восходящего по меньшей мере к XVIII в., к «гедонистическому исчислению» Джереми Бентама, основателя утилитаризма, – допущение стационарности, на котором оно основано, необязательно является свойством рационального агента. Стационарность исключает также вероятность того, что чьи-либо предпочтения могут меняться со временем, тогда как наш опыт свидетельствует об обратном.

Перейти на страницу:

Похожие книги

21 урок для XXI века
21 урок для XXI века

«В мире, перегруженном информацией, ясность – это сила. Почти каждый может внести вклад в дискуссию о будущем человечества, но мало кто четко представляет себе, каким оно должно быть. Порой мы даже не замечаем, что эта полемика ведется, и не понимаем, в чем сущность ее ключевых вопросов. Большинству из нас не до того – ведь у нас есть более насущные дела: мы должны ходить на работу, воспитывать детей, заботиться о пожилых родителях. К сожалению, история никому не делает скидок. Даже если будущее человечества будет решено без вашего участия, потому что вы были заняты тем, чтобы прокормить и одеть своих детей, то последствий вам (и вашим детям) все равно не избежать. Да, это несправедливо. А кто сказал, что история справедлива?…»Издательство «Синдбад» внесло существенные изменения в содержание перевода, в основном, в тех местах, где упомянуты Россия, Украина и Путин. Хотя это было сделано с разрешения автора, сравнение версий представляется интересным как для прояснения позиции автора, так и для ознакомления с политикой некоторых современных российских издательств.Данная версии файла дополнена комментариями с исходным текстом найденных отличий (возможно, не всех). Также, в двух местах были добавлены варианты перевода от «The Insider». Для удобства поиска, а также большего соответствия теме книги, добавленные комментарии отмечены словом «post-truth».Комментарий автора:«Моя главная задача — сделать так, чтобы содержащиеся в этой книге идеи об угрозе диктатуры, экстремизма и нетерпимости достигли широкой и разнообразной аудитории. Это касается в том числе аудитории, которая живет в недемократических режимах. Некоторые примеры в книге могут оттолкнуть этих читателей или вызвать цензуру. В связи с этим я иногда разрешаю менять некоторые острые примеры, но никогда не меняю ключевые тезисы в книге»

Юваль Ной Харари

Обществознание, социология / Самосовершенствование / Зарубежная публицистика / Документальное
Открытый заговор
Открытый заговор

Работа «Открытый Заговор» принадлежит перу известного английского писателя Герберта Уэллса, широко известного в России в качестве автора научно-фантастических романов «Машина времени», «Человек-невидимка», «Война миров» и другие. Помимо этого, Уэллс работал в жанрах бытового романа, детской, научно-популярной литературы и публицистики. «Открытый Заговор» – редкий для английского писателя жанр, который можно назвать политическим. Предлагаемую работу можно даже назвать манифестом, содержащим призыв к человечеству переустроить мир на новых началах.«Открытый Заговор» ранее не переводился на русский язык и в нашей стране не издавался. Первая версия этой работы увидела свет в 1928 году. Несколько раз произведение перерабатывалось и переиздавалось. Настоящая книга является переводом с издания 1933 года. Суть предлагаемого Уэллсом переустройства мира – в демонтаже суверенных государств и создании вместо них Мирового государства, возглавляемого Мировым правительством. Некоторые позиции программы «Открытого Заговора» выглядят утопичными, но, вместе с тем, целый ряд положений программы уже воплощен в жизнь, а какие-то находятся в стадии реализации. Несмотря на то что работа писалась около 90 лет назад, она помогает лучше понять суть процессов, происходящих сегодня в мире.

Герберт Джордж Уэллс , Герберт Уэллс

Государство и право / Политика / Зарубежная публицистика / Документальное