На краю пропасти. Экзистенциальный риск и будущее человечества

К. С. Льюис (1943; перевод Н. Трауберг) намекает на эту возможность, анализируя растущую власть человечества над природой, в частности обеспечиваемую генетическими технологиями. Он отмечает, что такая власть вполне может дойти до уровня, где одно поколение (или даже его часть), по сути, сможет определять траекторию развития человечества на все последующие поколения вперед: “Таким образом, речь может идти не о «прогрессе», но об одном столетии (скажем, сотом от Рождества Христова), которому лучше прочих удастся подмять под себя все остальные века и овладеть родом человеческим. Несомненно, в столетии этом, или, скорее, поколении, такой силой будет обладать не большинство, а меньшинство. Если мечты ученых осуществятся, крохотная часть человечества получит власть над многими миллиардами людей”.

446

Большинство нормативных установок обладает этим неочевидным свойством, поскольку задаваемый стандарт поведения не учитывает, что сама установка может быть неверна. Так как фиксация верной установки сопряжена с малыми издержками и большими выгодами, часто установка дает именно такую рекомендацию. К важным исключениям относятся установки, которые вообще не предполагают оглядки на последствия (например, если действия, способные привести к тому, что навсегда закрепится другая установка, не вызывают опасений), и установки с сильным либеральным посылом (например, если другая установка вызывает беспокойство, нормативная теория в явной форме дает свободу ее отвергнуть).

Хотя меня тревожит вероятность преждевременного утверждения нормативной теории, о которой все мы потом пожалеем, я не считаю встроенную в нее рекомендацию к фиксации причиной ее отвергать. Я думаю, что верное решение находится на том уровне моральной неопределенности, который я подробно проанализировал в другой работе (MacAskill, Bykvist & Ord, готовится к публикации). Людям следует сохранять некоторые сомнения в том, какие нормативные теории верны, и это дает нам веские, основанные на моральной неопределенности причины противостоять фиксации теории, даже если мы полагаем, что она с высокой вероятностью верна, поскольку нам надо оградить себя от риска ошибиться.

447

Бустрём (Bostrom 2013) предостерегает нас от этого, а Батлер (Butler 1863, 1872) заигрывает с этой идеей. Она практически гарантировала бы, что продолжительность жизни человечества будет ограничена фоновым уровнем природных рисков (хотя антропогенные риски, разумеется, все равно могут покончить с нами еще раньше). И это точно лишило бы нас возможности увеличить продолжительность своей жизни и расселиться за пределами Земли, хотя в ином случае это было бы в наших силах (и, вероятно, оставалось бы важной частью нашего потенциала).

448

Еще одним вероятным примером могут служить миры, где мы отказываемся от всех попыток покинуть Землю (возможно, чтобы оставить небеса нетронутыми). См. главу 8, где я рассуждаю о том, почему главное, чего мы можем достичь, стоит искать за пределами Земли.

449

Тринадцатая поправка гласит: “Запрещается вносить в Конституцию поправки, которые наделяют Конгресс полномочиями ликвидировать или видоизменять местные институты любого из штатов, включая институт принудительного труда или услужения, предусмотренный законами этого штата”.

Поправка была принята Конгрессом и даже поддержана Линкольном, но так и не ратифицирована. Неясно, могла ли она сработать, поскольку осталась бы возможность сначала аннулировать ее, а затем отменить рабство. Кроме того, она не гарантировала бы сохранение рабства навсегда, поскольку каждый из рабовладельческих штатов все равно был бы в состоянии отменить рабство на своей территории (Bryant, 2003).

450

По крайней мере, если его не подтолкнет к этому ранняя разработка продвинутого ОИИ. Такую катастрофу лучше причислять к рискам, сопряженным с ИИ.

451

Обратите внимание, что даже при таком подходе варианты могут считаться плохими в инструментальном смысле, если отсекают многие другие варианты. Следовательно, отсечение таких вариантов обретет инструментальную ценность (например, если отсечь вариант, в котором мы намеренно спровоцируем собственное вымирание). В связи с этим можно сделать вывод, что закреплять нам нужно лишь минимизацию блокировки.

Это изящный и логичный принцип, но, вероятно, его можно улучшить, просто ограничив нашу возможность выбирать такие варианты или сделав так, чтобы выбрать их можно было только огромным квалифицированным большинством голосов (такие техники часто применяются при заключении обязательных к исполнению многосторонних соглашений, таких как конституции и контракты). Так мы поможем себе не вымереть случайно (при явном отказе здравого смысла в любом обществе), но сохраним гибкость на тот маловероятный случай, если позже мы поймем, что наше вымирание будет только к лучшему.

452