Российская Академия Наук

Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.

80. Забвение основного принципа медицины – «Не навреди!»

Другая формулировка этого принципа: «Когда не знаешь что делать, не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут.

81. Путаница между объективными и субъективными врагами

Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей. Применительно к глобальным рискам это означает, что люди, которые могут уничтожить мир, вовсе не будут лично ко мне злы или выглядеть как исчадия ада. Это могут быть честные, благородные, красивые люди, которые совершат некую очень маленькую и неочевидную ошибку.

82. Предчувствие катастрофы, на самом деле обусловленное завистью

Один из вариантов того, когда неосознаваемые желания могут влиять на описание действительности. Яркий пример этому – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.)

83. Страх утраты идентичности

Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности.

84. Понятная катастрофа может быть привлекательнее непонятного будущего

В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации.) Непонятное может вызывать страх.

85. Неправильное применение бритвы Оккама

Мы не должны отсекать сложные гипотезы на основании бритвы Оккама . Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!

86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта

Вот что пишет Юдковски в связи с уже упоминавшимися дамбами: «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».

87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую

А) неучёт роста сложности структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что по мере процессов глобализации, связность и структурность земной цивилизации растёт.

Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) можно обнаружить, сравнивая надёжность самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – в значительной мере за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.

88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки