Российская Академия Наук

Жанр требует «хэппи энда». Если бы глобальная катастрофа была бы абсолютна неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир перед чумой». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.

Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, когда оно обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать Дружественный ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.

И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:

1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.

2) При этом эти знания и возможности управления не будут порождать новых рисков.

3) Эта система возникает мирно и безболезненно для всех людей.

8. Непрямые способы оценки вероятности глобальной катастрофы

Непрямые способы оценки используют не данные о самом предмете исследования, а разные косвенные источники информации, вроде аналогий, общих закономерностей и верхних пределов. Это вопрос подробно рассматривается Бостромом в статье «Угрозы существованию». Есть несколько независимых способов такой оценки.

Закон Парето

Закон Парето подробно рассмотрен Г.Г.Малинецким применительно к разнообразным катастрофам в книге «Риск. Устойчивое развитие. Синергетика». Суть его состоит в том, что частота (точнее, ранг в списке) некой катастрофы связана с её масштабом очень простым законом:

Где а – параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер, и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональном а. Типичным примером закона Парето является высказывание вроде: «С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже». (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга–Рихтера. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой 7-7,9 баллов происходят 18 раз в год, то 8-балльные – раз в год, а 9-бальные – раз 20 лет.) Особенностью этого закона является его универсальность для разных классов явлений, хотя значение параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показателе степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения.

Нас в этом распределении интересует, как часто во времени могли бы случаться катастрофы, в которых ожидаемое число жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число имеет порядок времени существования самого вида homo sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба – 74000 лет – когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а. Однако стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.

Однако гораздо худший результат мы получим, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, например, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно.