Искусственный интеллект

Интересно, что этот аргумент о бесполезности контроля почти никогда не возникает в тех случаях, когда лица, наделенные властными полномочиями, предлагают увеличить финансирование некоторых областей исследований, несмотря на то что аргумент этот, похоже, обоюдоострый. Не приходилось слышать возмущенных криков: «Пожалуйста, не увеличивайте бюджеты в нашей области. А лучше сократите их. Исследователи в других странах наверняка заполнят пустоту, эта работа так или иначе будет сделана. Не растрачивайте общественные средства на проведение исследований в нашей стране!»

С чем связана такая двойственность? Одно из объяснений, конечно, заключается в том, что у членов научного сообщества проявляется предубеждение в свою пользу, заставляющее нас верить, что исследования — это всегда хорошо, и пытаться использовать практически любые аргументы в пользу повышения их финансирования. Однако возможно также, что двойные стандарты объясняются национальными интересами. Предположим­, что развитие некой технологии будет иметь эффект двух типов: небольшую пользу В для ее создателей и страны, которая их финансирует, и гораздо более ощутимый вред Н — вплоть до риска гибели — для всех. Выбор в пользу разработки такой опасной технологии могли бы сделать даже те, кто в целом придерживается альтруистических взглядов. Они могли бы рассуждать следующим образом: вред Н будет нанесен в любом случае, что бы они ни делали, поскольку если не они, то кто-то еще все равно эту технологию создаст; а раз так, то можно было бы хотя бы получить пользу В для себя и своей страны. («К несчастью, скоро появится оружие, которое уничтожит мир. К счастью, мы получили грант на его создание!»)

Чем бы ни объяснялся аргумент о бесполезности контроля, с его помощью невозможно доказать, что с объективной точки зрения отсутствуют причины для попытки контролировать технологическое развитие. Это невозможно доказать, даже если мы допустим истинность вдохновляющей идеи, что в случае неустанных усилий ученых и исследователей в конечном счете все возможные технологии будут созданы — то есть если мы допустим следующее.

Гипотеза о технологической полноте

Если ученые и исследователи не прекратят свои усилия, тогда все важные базовые возможности, которые можно получить при помощи неких технологий, будут получены1.

Есть как минимум две причины, по которым из гипотезы о технологической полноте не следует аргумент о бесполезности контроля. Во-первых, может не иметь место посыл, поскольку на самом деле нам не дано знать, прекратят ли ученые и исследователи свои усилия (прежде чем будет достигнута технологическая зрелость). Эта оговорка особенно актуальна в контексте, в котором присутствует экзистенциальный риск. Во-вторых, даже если мы уверены, что все важные базовые возможности, которые можно получить при помощи неких технологий, будут получены, все же имеет смысл попытаться влиять на направление исследований. Важно не то, будет ли создана та или иная технология, а то, когда она будет создана, кем и в каком контексте. А на эти обстоятельства рождения новой технологии, определяющие эффект от нее, можно влиять, открывая и закрывая вентиль финансирования (и применяя другие инструменты контроля).

Из этих рассуждений следует принцип, который предполагает, что нам нужно уделять внимание относительной скорости развития различных технологий2.

Принцип разной скорости технологического развития

Следует тормозить развитие опасных и вредных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорять развитие полезных технологий, особенно тех, которые снижают уровень экзистенциального риска, вызванного другими технологиями.

Соответственно, любое решение лиц, облеченных властью, можно оценивать исходя из того, насколько оно обеспечивает преимуществами желательные виды технологий по сравнению с нежелательными3.

Предпочтительный порядок появления

Некоторые технологии являются амбивалентными по отношению к экзистенциальным рискам, увеличивая одни и снижая другие. К такого рода технологиям принадлежит изучение и разработка сверхразума.

В предыдущих главах мы видели, что с появлением машинного сверхразума возникает высочайший экзистенциальный риск глобального масштаба, но при этом другие экзистенциальные риски могут снижаться. Скажем, практически исчезнут риски гибели человечества вследствие природных катаклизмов: падений астероидов, извержений вулканов, вспышек эпидемий — поскольку сверхразум способен разработать контрмеры в каждом из этих случаев или хотя бы перевести их в менее опасную категорию (например, за счет колонизации космоса).