На краю пропасти. Экзистенциальный риск и будущее человечества

Однако нужно иметь в виду, что не все такие риски равны. В некоторых случаях средняя вероятность, которую мы присваиваем таким рискам, как ИИ, на самом деле отражает наше неопределенное положение между мирами: тем, где снизить вероятность риска очень сложно, и тем, где сделать это очень легко. Поэтому даже при среднем итоговом показателе изменить вероятность такого риска, работая над ним, может быть непросто. (Приведу пример: истинная вероятность одного риска может составлять 50 %, а другой риск может быть либо крайне маловероятным (0,1 %), либо крайне вероятным (99,9 %), но его истинная вероятность нам неизвестна. Последний риск будет менее податлив, чем мы могли бы подумать, опираясь на его субъективный уровень (50 %).)

492

MacAskill (2015), pp. 180–185.

493

Иногда решающим становится именно пренебрежение риском в краткосрочной перспективе: сколько ресурсов расходуется на работу с ним прямо сейчас. Но чаще основную роль играет долгосрочное пренебрежение: сколько всего ресурсов будет потрачено на работу с риском, пока не станет слишком поздно. Резкое перераспределение ресурсов (например, когда исследования в соответствующей области набирают обороты) может радикально изменить ситуацию.

494

Чтобы определить эти понятия, нужно иметь в виду, что затратная эффективность – это скорость изменения ценности относительно расходуемых ресурсов: d ценности / d ресурсов. Оуэн Коттон-Баррат показал, что затем мы можем разбить это на три фактора (Wiblin, 2017):

495

Взято у Оуэна Коттон-Баррата.

496

В случае с некоторыми рисками проходит много времени между последним моментом, когда можно было принять действенные меры, и моментом катастрофы. При расстановке приоритетов на основе того, какой из рисков наступает первым, мы датируем их по последнему моменту, когда можно было принять меры.

Если со временем наша работа постепенно становится менее эффективной, необходима более сложная оценка. Так происходит с изменением климата: хотя катастрофический ущерб от него будет ощущаться еще долгое время, ограничение выбросов и разработка альтернативных источников энергии приносят тем большую пользу, чем раньше мы к ним приступаем.

497

Диаметр околоземных объектов распределен по степенному закону с экспонентой –3,35 (Chapman, 2004). Масштаб эпидемий кори в изолированных обществах распределен по степенному закону с экспонентой –1,2 (Rhodes & Anderson, 1996). Число жертв многих других стихийных бедствий – цунами, извержений вулканов, наводнений, ураганов, торнадо – также распределено по степенному закону. Обычно соответствие исчезает по достижении некоторого крупного размера, где истинные вероятности чрезвычайно масштабных событий, как правило, оказываются ниже, чем прогнозируемые по степенному закону (например, число жертв при вспышках кори ограничивается размером популяции). Тем не менее такой предупредительный анализ все равно оказывается действенным в той мере, в какой степенной закон дает нам верхний предел истинной вероятности.

498

Взято у Эндрю Снайдера-Битти.

499

“Дилемма Колингриджа” – особый случай компромисса между использованием преимуществ этого рычага и защиты от нашей близорукости, поскольку она связана с регулированием новых технологий. Колингридж отмечает, что чем дальше мы от внедрения некоторой технологии, тем больше у нас возможностей для контроля за траекторией ее развития, но тем меньше нам известно о ее влиянии (Collingridge, 1982).

500

Он говорит об этом в своей диссертации, посвященной экзистенциальному риску и лонгтермизму (Beck-stead, 2013), одном из лучших текстов об экзистенциальном риске.

501

Мировые правительства расходуют на образование 4,8 % ВВП (World Bank, 2019b) – около 4 трлн долларов в год. Целевые расходы на работу по снижению экзистенциального риска составляют порядка 100 млн долларов. См. примечание 56 к главе 2, где подробнее объясняется, как оцениваются расходы на работу с экзистенциальным риском.

502

Это касается средств, направляемых именно на снижение экзистенциального риска, а не всей совокупности средств, направляемых в сферы, связанные с экзистенциальным риском (например, на работу с изменением климата и повышение биологической безопасности). Кроме того, я представляю себе мир, который выглядит так же, как наш сегодняшний. Если же экзистенциальный риск создаст явную чрезвычайную ситуацию (например, к нам будет приближаться огромный астероид), непосредственная работа с ним потребует гораздо больше средств.

503

Asimov (1979), p. 362; перевод А. Девеля и Л. Девель. Я начал эту цитату с заглавной буквы. [Extract from A Choice of Catastrophes: The Disasters That Threaten Our World by Isaac Asimov. Copyright © 1979 by Isaac Asimov. Reprinted with the permission of Simon & Schuster, Inc. All rights reserved.]

504

Можно охарактеризовать их и так:

1. Не потерпеть провал сразу и сделать провал невозможным.

2. Понять, как преуспеть.

3. Преуспеть.

505