Искусственный интеллект

Что касается принятия решений, то здесь риск непоправимой ошибки кажется более высоким. Но надежда прямо описать достаточно хороший подход к принятию решений все-таки есть. ИИ, обладающий сверхразумом, способен в любой момент переключиться на новый подход, но если начнет с совсем неудачного, то может не увидеть причину для переключения. Или ему не хватит времени выбрать заведомо лучший подход. Возьмем, например, агента, который не должен поддаваться шантажу и умеет отсеивать потенциальных вымогателей. Вполне возможно, что при его создании использовался оптимальный подход к принятию решений. Но если агент получит угрозу и решит, что она заслуживает доверия, ему будет нанесен ущерб.

При наличии адекватных подходов к принятию решений и познанию мира можно попробовать создать систему, использующую КЭВ или какое-то иное косвенное описание цели. В этом случае снова есть надежда на конвергентность — разные способы реализации КЭВ должны привести к одинаково­ благоприятным для человечества исходам. Если не предполагать конвергентность, то остается лишь надеяться на лучшее.

У нас нет необходимости тщательно оптимизировать систему. Скорее, следует сосредоточить внимание на надежном проекте, который внушит уверенность, что ИИ достанет здравого смысла распознать свою ошибку. Несовершенный ИИ, построенный на прочном основании, постепенно исправит себя сам, после чего приложит к миру не меньше позитивной оптимизирующей силы, чем мог бы приложить, будучи совершенным с самого начала.

Глава четырнадцатая

Стратегический ландшафт

Пришло время рассмотреть проблему сверхразума в более широком контексте. Нам следует хорошо ориентироваться в стратегическом ландшафте хотя бы для того, чтобы представлять общее направление своего движения. Как оказывается, это непросто. В предпоследней главе мы познакомимся с несколькими общими аналитическими концепциями, которые помогут нам обсуждать долгосрочные научные и технологические проблемы. А затем попробуем применить их к машинному интеллекту.

Рассмотрим различие между двумя нормативными подходами, при помощи которых можно оценивать любую предлагаемую стратегию. Субъективная точка зрения предполагает ответ на вопрос: насколько проведение тех или иных изменений «в наших интересах» — то есть насколько (в среднем и предположительно) они будут отвечать интересам тех обладающих моральным статусом субъектов, которые или уже существуют, или будут существовать независимо от того, произойдут предлагаемые изменения или нет. Объективная точка зрения, напротив, не предполагает учет мнения существующих людей или тех, кто будет жить в будущем, независимо от того, произойдут ли предполагаемые изменения. Она учитывает всех одинаково независимо от их положения на временной шкале. С объективной точки зрения наибольшую ценность имеет появление новых людей, при условии, что их жизнь будет стоить того, чтобы ее прожить, — чем более счастливой будет их жизнь, тем лучше.

Для первичного анализа может быть полезно сопоставить эти две точки зрения, хоть такой прием является лишь легким намеком на этические сложности, связанные с революцией машинного интеллекта. Вначале следует посмотреть на ситуацию с объективной, а затем с субъективной точек зрения и сравнить их.

Стратегия научно-технологического развития

Прежде чем обратиться к более узким вопросам машинного интеллекта, следует познакомиться с несколькими стратегическими концепциями и соображениями, которые имеют отношение к научному и технологическому развитию в целом.

Различные темпы технологического развития

Предположим, что некое лицо, наделенное властными полномочиями, предлагает прекратить финансирование определенной области исследований, оправдывая это рисками или долгосрочными последствиями, связанными с развитием новой технологии, которая когда-нибудь может появиться в этой области. Естественно, официальное лицо не удивится, если со стороны научного сообщества поднимется ропот недовольства.

Ученые и их защитники часто говорят, что контролировать эволюцию технологий, блокируя исследования, бесполезно. Если технология возможна (говорят они), то она появится независимо от опасений властных лиц по поводу предполагаемых будущих рисков. Действительно, чем большим потенциалом обладает технология, тем с большей уверенностью можно сказать, что кто-то где-то будет мотивирован ее создать. Прекращение финансирования не остановит прогресс и не устранит сопутствующие ему риски.