Российская Академия Наук

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и в целом не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.

Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под термином «когнитивные искажения» я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

1. Ошибки, возможные только относительно глобальных рисков в силу их специфики.

2. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

3. Факторы, оказывающие влияние на принятие неверных решений, мгогущие проявиться в ситуациях глобального риска.

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)

2.Ошибки, возможные только относительно угроз существованию

1. Путаница относительно глобальных катастроф и просто очень больших катастроф

Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. (Моисеев называл их цивилизационными рисками или катастрофами.) Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» .) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым оценкам, только 1 Гб информации, а влияние их на культуру оказалось огромным.)