На краю пропасти. Экзистенциальный риск и будущее человечества

Подобное наблюдается при анализе риска ОИИ. Как только ОИИ будет разработан, человечество станет уязвимо для чрезвычайных происшествий, связанных с ним, и злоупотреблений со стороны тех, кто имеет к нему доступ. Покончить с этим можно будет лишь путем активных действий. В этот период (который может оказаться коротким) риск, сопряженный с ОИИ, будет риском состояния, но при расширении временных рамок он станет риском переходного периода.

Несмотря на существование таких неоднозначных случаев, проводить это различие полезно. Даже в описанных ситуациях оно позволяет изучать изменчивую природу рисков.

565

Эту мысль первым высказал Бустрём (Bostrom, 2013, pp. 24–26).

566

Разумеется, исследователь всегда утверждает, что исследования стоит продолжать. Надеюсь, читатель сможет понять, почему продолжение исследований экзистенциального риска действительно принесет огромную пользу человечеству. Здесь исследования нужны не просто для ответа на произвольно выбранный научный вопрос. Они нужны, чтобы ответить на чрезвычайно важный вопрос (что делать, чтобы лучше всего защитить долгосрочный потенциал человечества?), который пока практически не исследовался.

567

Например, к моменту написания этой книги вышло всего два исследования воздействия полномасштабной ядерной войны на климат, проведенных после окончания холодной войны в 1991 году (Robock, Oman & Stenchikov, 2007; и Coupe et al., 2019), а исследований ее воздействия на сельское хозяйство не публиковалось с 1986 года (Harwell & Hutchinson, 1986).

568

Например, исследовательскую стипендию, которая дала мне время на написание этой книги, мне предоставил индивидуальный благотворитель.

569

Они также выделили крупный грант в поддержку оксфордского Института будущего человечества, где я работаю.

570

Особенно ценно их движимое искренней заботой о деле желание финансировать исследования, которые действительно приносят максимум пользы, поскольку если просто увеличивать финансирование исследований экзистенциального риска, то средства, вероятно, будут направляться главным образом в уже сложившиеся области (возможно, после удачного ребрендинга) и лишь малая их часть будет выделяться на поистине прорывную и смелую работу. Также можно ожидать, что общее финансирование будет направляться на исследование более понятных рисков (например, астероидов), а более серьезные, но менее изученные риски (например, сопряженные с продвинутым искусственным интеллектом) останутся без внимания. Кроме того, финансироваться может и работа с катастрофическими рисками, которые не входят в категорию экзистенциальных. Если ведущие грантодатели начнут выделять средства на исследование экзистенциального риска, им необходимо соблюдать осторожность, чтобы не нарушить порядок приоритетов в отрасли. См. также Bostrom (2013, p. 26).

571

Есть и другие исследовательские институты, например Институт будущего жизни (FLI) и Институт глобального катастрофического риска (GCRI).

572

Отличный пример – энвайронментализм. На заре своего существования движение в защиту окружающей среды было гораздо менее политически ангажированным и добилось немалых успехов. Ричард Никсон основал Агентство по охране окружающей среды США, а Рейган заявил: “Необходимость защиты окружающей среды диктуют не программы либералов и консерваторов, а здравый смысл”. На мой взгляд, движение добилось бы большего, если бы ему удалось сохранить свою неангажированность.

573

Взять хотя бы движение в защиту окружающей среды. Первые энвайронменталисты главным образом сталкивались с проблемами загрязнения, снижения биологического разнообразия, вымирания и дефицита ресурсов. Но они не называли себя ни “экстинкционистами”, ни “поллюционистами” [от англ. extinc-tion – “вымирание” и pollution – “загрязнение”. – Прим. перев.]. Они отождествляли себя не с проблемами, с которыми боролись, а с положительной ценностью, которую всячески старались сберечь.

574

На момент написания этой книги у всех на слуху DeepMind и OpenAI. Им нужны толковые исследователи в сфере безопасности ИИ и умелые программисты – особенно те, кто воспринимает экзистенциальный риск всерьез.

575

В число организаций, работающих над снижением экзистенциального риска, входят:

Институт будущего человечества (FHI);

Центр изучения экзистенциального риска (CSER);

Институт будущего жизни (FLI);

Институт глобального катастрофического риска (GRCI);

Инициатива по исследованию экзистенциального риска в Беркли (BERI);

Проект “Открытая филантропия” (OpenPhil);

Инициатива по исследованию ядерной угрозы (NTI);

Бюллетень ученых-атомщиков;

Фонд глобальных вызовов;

Группа правового регулирования экзистенциальных рисков (LGER);

Альянс “Накормим Землю в разгар бедствий” (ALLFED).

На сайте 80 000 Hours перечисляются профессии, выбрав которые можно внести в общее дело наибольший вклад, и публикуются объявления о вакансиях: http://80000hours.org/job-board.

Кроме того, там объясняется, какие профессии действительно помогают миру: http://80000hours.org/career-reviews.

576