На краю пропасти. Экзистенциальный риск и будущее человечества

Например, Пинкер пишет: “Угроза биологического терроризма тоже может оказаться призрачной. Биологическое оружие, от которого в 1972 году отказались практически все страны мира, подписав соответствующую международную конвенцию, ни разу не сыграло никакой роли в современных войнах. Запрет был вызван почти повсеместным отвращением к самой идее таких боеприпасов, но даже военных долго убеждать не пришлось, потому что микроскопические живые существа – никудышное оружие” (Pinker, 2018, p. 306; перевод Г. Бородиной и С. Кузнецовой).

377

См. примечание 54 к главе 2.

378

Tucker (2001). Исполнение положений Договора о нераспространении ядерного оружия проверяется Международным агентством по атомной энергии, где работает 2500 человек. Исполнение положений Конвенции о запрещении химического оружия проверяется Организацией по запрещению химического оружия, где работает 500 человек.

379

СССР подписал КБО в 1972 году и ратифицировал ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1928 года как минимум до 1991 года (Carus, 2017).

380

ЮАР подписала КБО в 1972 году и ратифицировала ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1981 по 1993 год (Gould & Folb, 2002).

381

Ирак подписал КБО в 1972 году и ратифицировал ее в 1991 году (Davenport, 2018). Разработка биологического оружия в стране велась примерно с 1974 по 1991 год (Carus, 2017).

382

В 2018 году советник президента США по национальной безопасности Джон Болтон сказал: “Есть… государства, которые входят в Конвенцию по биологическому оружию, однако, как мы полагаем, нарушают ее” (Bolton & Azar, 2018).

383

Известно, что в прошлом в Израиле велась разработка биологического оружия (Carus, 2017), и Израиль – одна из всего десяти стран, которые не подписали и не ратифицировали конвенцию (ее подписали 182 государства, включая все остальные развитые страны) (Davenport, 2018).

384

Стоит отметить, что есть и другие трудности. Создать функционирующий вирус только на основе его ДНК не так просто (хотя это удалось одной небольшой группе). Кроме того, в настоящее время сложно замещать ДНК в бактерии. Также существуют ограничения по продолжительности синтеза последовательности, и потому ДНК многих организмов сегодня не поддаются синтезу.

385

DiEuliis, Carter & Gronvall (2017); IGSC (2018).

386

Часто аргументом против обязательного скрининга служит то, что он может открыть конкурентам доступ к интеллектуальной собственности в виде заказываемых последовательностей ДНК. Но у этой проблемы, по видимому, должно быть криптографическое решение (Esvelt, 2018).

Нам известно немало случаев, когда подобные системы защиты пользовательских продуктов подвергались взлому, но они тем не менее могут обеспечить определенный уровень безопасности, поскольку требуют от злоумышленников экспертизы не только в биологии, но и в компьютерных технологиях. Кроме того, они могут помочь “честным людям оставаться честными”, избавляя исследователей от искушения проводить эксперименты над контролируемыми патогенами.

387

Термин предложил Bostrom (2011b). Неформально их также называют “инфоопасностями”.

388

См. Bostrom, Douglas & Sandberg (2016), где авторы делают обзор этой проблемы, проводят ее формальный анализ и предлагают некоторые решения. В работе Lewis (2018) это понятие применяется к биотехнологическим информационным опасностям.

389

Эту ситуацию усугубляет дополнительная неопределенность в вопросе о размере выгоды и риска, поскольку из за нее распределение оценок чистой выгоды становится шире: самые оптимистичные прогнозы оказываются еще дальше от центральных оценок.

Я сказал, что достаточно одной чрезмерно оптимистичной оценки, но если ученому нужно, чтобы информация была опубликована в журнале, то оценок должно быть две – автора и редактора. Это подсказывает, что решать соответствующую проблему нужно на уровне редакторов журналов, где в процессе участвует меньше людей. Можно, как предлагается в Lewis (2018), обязать первый журнал, отклонивший статью из соображений безопасности, делиться своими опасениями с другими, чтобы автор статьи не принялся рассылать ее во все журналы в поисках того единственного, который слишком оптимистично оценит риск.

В Esvelt (2018) предлагается ввести предварительную регистрацию потенциально опасных исследований, чтобы открытые и широкие дискуссии по вопросам безопасности проходили еще до появления опасной информации.

390

В 1999 году Айман аз-Завахири (нынешний лидер “Аль-Каиды”) написал, что планирует приступить к исследованиям химического и биологического оружия: “Хотя они чрезвычайно опасны, мы узнали о них лишь тогда, когда противник привлек к ним наше внимание, многократно выражая беспокойство в связи с тем, что их разработка не представляет труда” (Wright, 2002).

391