Искусственный интеллект

39. В случае полностью искусственной системы можно обеспечить некоторые преимущества институциональной структуры без необходимости создавать субагентов. Например, в процессе принятия решений можно было бы использовать несколько различных точек зрения, не выделяя их в отдельные сущности с полным набором черт, характерных для независимого агента. Однако в случае, когда система не состоит из субагентов, будет сложнее обеспечить полноценное наблюдение за последствиями поведения, вызванного предлагаемыми изменениями, и возврат к предыдущей версии, если эти последствия окажутся нежелательными.

Глава 13. Выбор критериев выбора

1. В ходе недавних опросов профессиональных философов была выявлена доля респондентов, которые «поддерживают или склоняются к поддержке» тех или иных теорий. В области нормативной этики: деонтология — 25,9%; консеквенциализм — 23,6%; этика добродетели —18,2%. В области метаэтики: моральный реализм — 56,4%; моральный антиреализм — 27,7%. В области моральных суждений: когнитивизм — 65,7%; нонкогнитивизм — 17,0%; см.: [Bourget, Chalmers 2009].

2. См.: [Pinker 2011].

3. Обсуждение этого вопроса см. в работе: [Shulman et al. 2009].

4. См.: [Moore 2011].

5. См.: [Bostrom 2006 b].

6. См.: [Bostrom 2009 b].

7. См.: [Bostrom 2011 a].

8. Если быть совсем точным, то нам следует полагаться на его мнение за исключением тех случаев, когда у нас есть весомые основания считать, что наши суждения более точные. Например, мы лучше сверхразума знаем, о чем мы думаем в тот или иной момент, — если, конечно, он не научился сканировать наш мозг. Но если у сверхразума есть доступ к нашим взглядам, то этим замечанием руководствоваться не стоит. Тогда мы вполне можем положиться на его мнение, в каких случаях нам доверять собственным суждениям, а в каких нет. (В отдельных случаях, когда речь идет, например, о дейктических знаниях, сверхразум может «встать на наше место» и объяснить, во что нам рациональнее верить.) О философских дискуссиях на темы моральных суждений и эпистемологического авторитета см. в статье Адама Эльги: [Elga 2007].

9. [Yudkowsky 2004]. См. также: [Mijic 2010].

10. Например, Дэвид Льюис предложил диспозиционную теорию ценности, которая предполагает, что некая вещь Х значима для А тогда и только тогда, когда А хотел бы ею обладать, будучи идеально рациональным и идеально информированным об Х; см.: [Smith et al. 1989]. Родственные идеи были озвучены и ранее, см., например: [Sen, Williams 1982; Railton 1986; Sidgwick, Jones 2010]. Отчасти напоминает их и другой общий философский подход к выработке суждений: метод рефлексивного равновесия — процесс итерационной взаимной корректировки наших интуитивных представлений о ситуации, общих правил, которыми мы обычно руководствуемся в аналогичных случаях, и принципами, в соответствии с которыми, как нам кажется, эти элементы могут быть пересмотрены для того, чтобы система стала более согласованной; см., например: [Rawls 1971; Goodman 1954].

11. Предполагается, что, работая над предотвращением подобных катастрофических исходов, ИИ должен действовать максимально легкими касаниями, то есть так, чтобы можно было избежать несчастья и при этом не радикально вмешиваться в судьбу человечества в других смыслах.

12. [Yudkowsky 2004].

13. Замечание Ребекки Роуч (личное собщение).

14. Приведу три этих ценностных принципа, которые могли бы стать конечными целями сверхразума: 1) «защищать людей, будущее человечества и нашу человечную природу» (именно «человечную», а не просто «человеческую», то есть такую природную среду, какую нам хотелось бы иметь); 2) «человечество не должно провести остаток вечности, отчаянно сожалея о том, что сделали программисты»; 3) «помогать людям».

15. Некоторые религиозные сообщества делают особый акцент на вере, противопоставляя ее разумному доводу, которого, по их мнению, недостаточно для обретения духовного опыта — даже в наиболее идеализированной форме разума, даже после упорного и беспристрастного изучения всех священных текстов, откровений и толкований. Те, кто придерживается этих взглядов, вряд ли увидят в КЭВ оптимальный метод принятия решений (однако все-таки решат предпочесть именно его, а не еще более несовершенные методы, которые могут быть реализованы в случае отказа от КЭВ).

16. Подобный силам природы, действующий незаметно и регулирующий жизнь людей, — такой ИИ скорее можно считать «системным оператором» пространства, занятого человеческой цивилизацией, см.: [Yudkowsky 2001].