Российская Академия Наук

Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.

26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему

Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов или атаки ИИ, может передаваться со скоростью света.

27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»

Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги . В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.

28. Преувеличение прогностической ценности экстраполяции

Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» – анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне сделает движение по городу невозможным , и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.

29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света

А.П.Назаретян описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. И нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий, введя физическое ограничение скорости машин да 50 км/час, но большинство водителей бы на это не согласилось.) При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя якобы реальными причинами.

30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска