На краю пропасти. Экзистенциальный риск и будущее человечества

Думаю, условие достоверности здесь очень важно. Я не говорю, что этот аргумент, основанный на неопределенности, работает даже в том случае, если вы в высшей степени уверены, что мы не обязаны оберегать свое будущее. Базой для такого аргумента, вероятно, может послужить и ожидаемая выгода, но я остерегаюсь аргументов, связанных с ожидаемой выгодой, когда вероятности чрезвычайно малы и плохо изучены (см. Bostrom, 2009).

125

Даже если придерживаться мрачной точки зрения, полагая, что значимы лишь неблагоприятные исходы, все равно продолжить путь, поскольку человечество, возможно, способно предотвратить неблагоприятные исходы в других точках Земли, а также в других областях космоса, где зародилась жизнь.

126

Иными словами, защита нашего будущего имеет огромную ценность отложенной альтернативы. Двигаясь по этому пути, мы сохраняем способность в будущем выбрать то, что окажется лучшим вариантом, когда у нас появится больше данных. Неимоверную ценность обретают и сами эти данные, будь то эмпирическая информация о наших перспективах или сведения о том, какие из гипотетических моральных соображений выдержали проверку временем. Разумеется, ценность отложенной альтернативы ограничивается той степенью, в которой будущее, по нашим прикидкам, окажется восприимчиво к новой информации о том, что лучше с точки зрения морали.

Подробнее о моральной ценности отложенной альтернативы и ценности информации морального характера с точки зрения всего человечества пишут Bostrom (2013, p. 24), MacAskill (2014), а также Williams (2015), который обобщает эту мысль: “…нам следует считать интеллектуальный прогресс того типа, который позволит нам как можно скорее находить и исправлять свои ошибки морального характера, первоочередным моральным приоритетом, а не просто роскошью; и нам также следует признать важность экономии ресурсов и повышения гибкости, чтобы тогда, когда настанет время изменить свои принципы, мы смогли бы сделать это быстро и безболезненно”.

127

Эти мысли прекрасно излагает Sagan (1994).

128

Бюджет на 2019 год составил 1,4 млн долларов (BWC ISU, 2019). В период с 2016 по 2018 год расходы на содержание ресторанов, управляемых компанией McDonald’s, составляли в среднем 2,8 млн долларов на ресторан ежегодно (McDonald’s Corporation, 2018, pp. 14, 20). Компания не сообщает о расходах на содержание ресторанов, открытых по франшизе.

129

По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов.

По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые расходы на мировом рынке технологий искусственного интеллекта (ИИ) в 2021 году составили 383 млрд долларов, а в 2022 году превысят 450 млрд долларов (см. https://www.dailycomm.ru/m/54690/, дата посещения 3 ноября 2022 г.). – Прим. науч. ред.]

130

В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a).

Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов.

Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018).

Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.

131

Robock, Oman & Stenchikov (2007) и Coupe et al. (2019).

132