Искусственный интеллект

35. Одна из возможных причин, почему первая революция ИИ должна закончиться довольно быстро, — избыточное количество аппаратных средств. Но это не исключает и прорыва в ПО, связанного с переходом от имитационных моделей к композиционным моделям ИИ.

36. См.: [Shulman 2010 b].

37. Как получится уравновесить все pro и contra, будет зависеть от работы, которую пытается выполнить суперорганизм, и насколько большими возможностями будет обладать наиболее развитый единый шаблон эмуляторов. Человеческая потребность в крупных организационных структурах, в которые постоянно объединяются множества различных типов людей, отчасти вызвана тем, что людей, талантливых сразу во всем, очень мало.

38. Естественно, изготовить множество копий интеллектуального программного агента очень легко. Но для уверенности, что скопированные имитационные модели будут обладать одинаковыми конечными целями, этого недостаточно. Чтобы два агента имели одинаковые конечные цели (одинаковые в прямом смысле этого слова — то есть «одни и те же»), эти цели должны совпадать в своих дейктических (то есть указательных) элементах. Если Боб эгоист, то имитация Боба тоже будет эгоистом. Тем не менее цели их не одинаковые, поскольку Боба заботит благополучие Боба, а имитацию Боба — благополучие имитации Боба.

39. [Shulman 2010 b, p. 6].

40. Это скорее относится к людям и имитационным моделям, а не к системам ИИ, которые могут быть разработаны таким образом, что будут способны включать скрытые модули или функциональные процессы, которые практически невозможно обнаружить. Однако ИИ, специально созданные для обеспечения прозрачности, позволят проводить более тщательные контрольные проверки, чем системы, по архитектуре схожие с человеческим мозгом. Давление общества может заставить ИИ раскрыть свой исходный код или изменить себя в сторону большей прозрачности — особенно если прозрачность является предварительным условием для доверия и возможности заключать выгодные сделки. См.: [Hall 2007].

41. Есть издержки, которые кажутся относительно незначительными, особенно на фоне общих переговоров, где ставки слишком высоки (например, возможность провала согласования на глобальном уровне ключевых вопросов); имеются в виду издержки при поиске взаимовыгодных политических решений или когда некоторые агенты могут принципиально отстаивать позицию «независимости», степень которой явно понизится в результате присоединения к всеобъемлющим международным соглашениям, предусматривающим механизмы контрольных проверок и надзора.

42. Возможно, ИИ будут этого добиваться, меняя соответствующим образом свой исходный код, а всем своим наблюдателям предоставляя доступ к себе лишь в режиме «только для чтения». Машинный интеллект с менее прозрачной архитектурой (имитационные модели мозга) может поступить иначе: публично применить к себе один из методов выбора мотивации. Еще один вариант выбора посредника — услуги независимого агента, обладающего принудительной функцией. Например, это может быть полицейский суперорганизм, в чье предназначение входит не только принуждение к исполнению соглашений, достигнутых между несколькими сторонами, но и обеспечение контроля за выполнением обязательств.

43. Возможно, сам естественный отбор благоволил тем, кто не обращал внимания на угрозы и имел настолько сильный характер, что явно предпочел бы скорее умереть в бою, чем поступиться своими интересами хотя бы в малом. Эта непреклонность могла приносить большую пользу, недвусмысленно сигнализируя окружающим, с кем им придется иметь дело. (Естественно, чисто инструментальное вознаграждение не обязательно играло сколь-нибудь значимую роль в сознательной мотивации агента — он вполне мог ценить справедливость и честь как таковые.)

44. Для вынесения окончательного вердикта по этому вопросу пришлось бы проводить более глубокий анализ. Есть сложности разной степени, но мы сейчас не будем на них задержи­ваться.

Глава 12. Выработка ценностей

1. У этой базовой идеи есть множество вариаций. Об одной из них мы рассказывали в главе 8: агент не обязан каждую секунду стремиться все доводить до максимума, вполне возможно существование такого агента, которого бы все «устраивало», то есть агента, отвечающего критерию разумной достаточности. В следующей главе мы коротко затронем проблему альтернативных подходов к принятию решений. Но поскольку сейчас эти вопросы несущественны, мы не будем сбиваться на другие темы, а сосредоточим внимание на агенте, максимизирующем ожидаемую полезность.

2. При условии, что функция полезности этого ИИ не совсем примитивна. Например, очень легко создать агента, который всегда выбирает действие, максимизирующее ожидаемую полезность в случае, если функция полезности, например, константа: U(w) = 0. При такой функции полезности каждое действие одинаково хорошо максимизировало бы ожидаемую полезность.