Совместимость. Как контролировать искусственный интеллект

Очевидной особенностью людей, если подумать, является то, что они не всегда знают, чего хотят. К примеру, фрукт дуриан вызывает у людей разную реакцию: одним кажется, что он «по вкусу превосходит все остальные фрукты в мире»[316], а другие сравнивают его с «нечистотами, застарелой рвотой, струей скунса и использованными хирургическими тампонами»[317]. Я сознательно не стал пробовать дуриан до выхода этой книги и могу занять нейтральную позицию по этому вопросу: я попросту не знаю, к какому лагерю примкнул бы. То же самое можно сказать о многих людях в отношении будущей карьеры, будущих партнеров, будущих занятий по выходе на пенсию и т. д.

Неопределенность в отношении предпочтений бывает как минимум двух типов. Первая — это реальная неопределенность вроде той, что испытываю я в вопросе о дуриане[318]. Сколько ни размышляй, эту неопределенность не устранить. Это эмпирический факт бытия, и я могу узнать больше, попробовав дуриан, сравнив свою ДНК с ДНК любителей и ненавистников дуриана и т. д. Неопределенность второго типа является следствием ограничения вычислительных возможностей: глядя на две позиции на доске для игры го, я не могу решить, какую предпочесть, поскольку варианты развития обеих совершенно недоступны моему пониманию.

Неопределенность также возникает из того факта, что варианты выбора, которые нам предлагаются, обычно неполно сформулированы — иногда настолько неполно, что их вообще с трудом можно назвать вариантами выбора. Когда Алиса оканчивает школу, консультант по профориентации может предложить ей выбор между «библиотекарем» и «шахтером», и она вполне разумно ответит: «Я не знаю, что предпочесть». Здесь неопределенность следует из реальной неопределенности в вопросе о том, что она сама предпочитает, угольную пыль или книжную, из вычислительной неопределенности, когда она пытается понять, как можно было бы извлечь максимум возможного из обоих вариантов профессиональной карьеры, а также из бытовой неопределенности в мире, скажем, ее сомнений в плане долгосрочной жизнеспособности местной угольной шахты.

Поэтому плохая идея отождествлять человеческие предпочтения с простым выбором между неполно описанными вариантами, в которых невозможно оценить и учесть элементы неизвестной желательности. Такой выбор дает косвенное свидетельство о глубинных предпочтениях, но не составляет эти предпочтения. Вот почему я говорил о предпочтениях в понятиях будущих жизней — например, представьте, что вы могли бы увидеть в сокращенном виде два разных фильма о вашей будущей жизни, а затем выбрать из них предпочтительный. Разумеется, этот мысленный эксперимент невозможно поставить в реальности, но можно представить, что во многих случаях четкое предпочтение сформируется задолго до того, как все детали каждого фильма будут показаны и полностью восприняты. Вы можете не знать заранее, какой из них предпочтете, даже если дать вам краткое изложение сюжетов, но на реальный вопрос имеется ответ, основывающийся на том, кто вы сейчас, как есть ответ на вопрос, понравится ли вам дуриан, когда вы его попробуете.

Тот факт, что вы можете пребывать в неопределенности о собственных предпочтениях, не вызывает особых проблем для подхода на основе предпочтений к созданию доказуемо полезного ИИ. В действительности уже существуют некоторые алгоритмы, учитывающие неопределенность как Робби, так и Гарриет, в отношении предпочтений Гарриет и допускающие возможность того, что Гарриет может узнавать о своих предпочтениях одновременно с Робби[319]. Как неуверенность Робби в смысле предпочтений Гарриет можно уменьшить путем наблюдения за поведением Гарриет, так и ее неопределенность в отношении собственных предпочтений можно уменьшить, наблюдая ее реакции на то, что она испытывает. Два типа неопределенности необязательно должны быть непосредственно связаны, и Робби необязательно испытывает большую неопределенность, чем Гарриет, в вопросе о ее предпочтениях. Например, Робби может быть способен обнаружить, что Гарриет имеет сильную генетическую предрасположенность к тому, чтобы отвергнуть вкус дуриана. В этом случае он вряд ли будет сомневаться в ее предпочтениях в отношении дуриана, несмотря на то что сама она пребывает в полном неведении.

Если Гарриет может быть не уверена в собственных предпочтениях относительно будущих событий, то весьма вероятно, что она может и ошибаться. Например, она убеждена, что ей не понравится дуриан (или, скажем, зеленые яйца и ветчина^{17}), и поэтому всеми силами избегает его пробовать, но, если однажды кто-то добавит немного мякоти в ее фруктовый салат, он покажется ей восхитительным. Таким образом, Робби не может предполагать, что действия Гарриет отражают точное знание о ее собственных предпочтениях: одни могут всецело опираться на опыт, а другие — главным образом на догадки, предубеждения, страх неизвестности или необоснованные обобщения[320]. Достаточно тактичный Робби мог бы очень существенно помочь Гарриет, предупреждая ее о подобных ситуациях.