Искусственный интеллект. Этапы. Угрозы. Стратегии

Чтобы снизить риски, связанные с революцией машинного интеллекта, мы предложили бы две цели, которые, по всей видимости, удовлетворяют всем высказанным пожеланиям: это стратегический анализ и создание возможностей. Мы можем быть уверенными в положительной ценности этих параметров, поскольку стратегическое понимание и большие возможности — это благо. Более того, они эластичны: небольшие дополнительные инвестиции способны привести к сравнительно большим изменениям. Срочность этой задачи также очевидна — обеспечив понимание и создав новые возможности сейчас, можно будет более эффективно прилагать усилия в будущем. Кроме этих двух крупных целей можно предложить еще несколько других, также достойных нашего внимания.

В поисках стратегии

В условиях растерянности и неопределенности стратегический анализ представляется задачей, имеющей особенно высокую ожидаемую полезность[584]. Понимание ситуации, в которой мы находимся, поможет нам действовать более эффективно. Особенно полезен стратегический анализ в том случае, если мы не уверены не только во второстепенных деталях, но и главных аспектах проблем. Часто неопределенность связана даже со знаком многих ключевых параметров: то есть неизвестно, какое направление изменений желательно, а какое — нет. Наше незнание может иметь непоправимые последствия. Однако область эта изучена мало, и сверкающие стратегические озарения могут ожидать нас совсем близко, стоит лишь сделать первый шаг.

Под «стратегическим анализом» мы понимаем здесь поиск критически важных соображений: идей и аргументов, обладающих потенциалом изменить наши взгляды не столько на детали реализации плана, сколько на общую топологию желательного[585]. Даже единственное упущенное из виду критически важное соображение способно обесценить наши самые напряженные усилия или вовсе обратить их во вред — как в случае солдата, воюющего за неправую сторону. Поиск критически важных соображений (в ходе которых приходится изучать как нормативные, так и дескриптивные вопросы) часто предполагает пересечение границы между различными научными дисциплинами и другими областями знаний. Поскольку устоявшейся методологии проведения такого рода исследований пока не существует, они требуют напряженных размышлений буквально с чистого листа.

В поисках возможностей

Еще одним ценным видом деятельности, для которого характерно такое же, как у стратегического анализа, свойство пользы в случае реализации широкого спектра сценариев, является создание хорошо организованной базы поддержки идеи, что к будущему следует относиться серьезно. При наличии такой базы немедленно появятся ресурсы для проведения аналитических исследований. Если приоритеты изменятся, соответственно можно будет перераспределить и ресурсы. То есть база поддержки и станет той самой возможностью, использование которой будет определяться новыми идеями (по мере их появления).

Одним из самых ценных активов могла бы стать донорская сеть, состоящая из людей, приверженных идее рациональной филантропии, информированных об экзистенциальном риске и о средствах его уменьшения. Особенно важно, чтобы эти отцы-основатели были проницательными и альтруистичными, поскольку им представится возможность сформировать культуру направления прежде, чем в ней проявятся и укоренятся обычные корыстные мотивы. То есть фокус в ходе этого открывающего партию гамбита должен быть направлен на привлечение к работе над направлением правильных людей. Возможно, даже стоит пожертвовать какими-то быстрыми техническими успехами ради того, чтобы заполнить вакантные позиции теми, кто искренне заботится о безопасности и ориентируется на поиск истины (а также способен привлекать единомышленников).