Совместимость. Как контролировать искусственный интеллект

Во-вторых, не просматривается очевидного рационального основания для изменения (в отличие от обновления) предпочтений индивида. Если Гарриет предпочитает А, а не Б, но имеет возможность выбрать опыт, который, как ей известно, может заставить ее отдать предпочтение Б перед А, с какой стати она станет это делать? Ведь в результате она станет выбирать Б, чего сейчас не хочет!

Вопрос об изменении предпочтений в драматической форме представлен в легенде об Одиссее и сиренах. Сирены, мифологические существа, своим пением завлекали мореплавателей на гибельные скалы средиземноморского острова. Одиссей, желая услышать их пение, приказал спутникам закупорить свои уши воском, а его привязать к мачте и ни при каких обстоятельствах не поддаваться, если он станет умолять освободить его. Очевидно, он хотел, чтобы спутники уважали его изначальные предпочтения, а не те, которые появятся у него, когда сирены его зачаруют. Эта легенда дала название книге норвежского философа Юна Эльстера [328], посвященной слабости воли и другим вызовам теоретическому представлению о рациональности.

Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.

Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.

Под «предпочтениями в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми» я подразумеваю, например, представление о том, что человек может сформировать «лучшие» предпочтения, поездив по миру и познакомившись с большим разнообразием культур, влившись в круг увлеченных интеллектуалов, всесторонне изучающих широкий спектр нравственных традиций, или потратив какое-то время на уединенные размышления о смысле жизни. Я бы назвал эти процессы нейтральными в отношении предпочтений, поскольку не приходится ожидать, что такой процесс изменит предпочтения человека в каком-либо выделенном направлении, хотя и признаю, что некоторые могут решительно со мной не согласиться.

Конечно, не все процессы, нейтральные в отношении предпочтений, желательны. Например, вряд ли кто-нибудь рассчитывает, что разовьет «лучшие» предпочтения путем битья по своей голове. Прохождение приемлемого процесса изменения предпочтений аналогично проведению эксперимента с целью узнать, как функционирует мир: никогда заранее не знаешь, чем обернется эксперимент, но все-таки ждешь, что новое состояние ума принесет тебе пользу.

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание»[329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».