Искусственный интеллект

Поначалу принцип общего блага (и его практические следствия вроде обязательства распределять сверхдоходы) мог бы применяться избирательно, путем добровольного согласия поступать в соответствии с ним, данного ответственными специалистами и организациями, которые работают в области машинного интеллекта. Позднее к нему присоединились бы другие, и со временем он превратился бы в закон или международное соглашение. Приведенная выше не очень строгая формулировка вполне подойдет для начала, но в конечном счете должна быть заменена набором конкретных требований, поддающихся проверке.

Глава пятнадцатая

Цейтнот

Мы заблудились в непроходимой чаще стратегической сложности, которую окутывает плотный туман неопределенности. Хотя многие элементы окружающего нас пейзажа разглядеть удалось, но отдельные детали и взаимосвязи остаются загадкой. Кроме того, могут быть другие факторы, о которых мы пока даже не задумываемся. Что нам остается в такой ситуации?

Крайний срок философии

Мои коллеги часто шутят, что вручение Филдсовской премии (высшей награды в области математики) может означать две вещи: или награжденный смог сделать что-то важное, или нет. Не очень приятно, но доля правды в этом есть.

Определим «открытие» как действие, в результате которого некая информация становится известна раньше, чем могла бы появиться. Тогда ценность открытия не равняется значимости заложенной в нем информации, а скорее приобретает значение, потому что информация попадает в наше распоряжение сейчас, а не позже. Чтобы первому найти решение проблемы, которое ускользнуло от многих других, ученому требуется приложить много сил и способностей; но если проблема в любом случае должна была в ближайшее время быть решена, мир получил не так много пользы от его работы. Конечно, есть случаи, когда даже чуть более раннее решение проблемы несет в себе огромную ценность, но чаще всего это возможно лишь в тех случаях, когда такое решение можно немедленно использовать: или применить на практике, или положить в основу другой теоретической работы. Причем в последнем случае, когда решение сразу используется в качестве строительного материала для дальнейших теоретических поисков, то сам факт, что оно получено чуть раньше, будет значим лишь тогда, когда новая работа сама по себе и важная, и срочная1.

То есть вопрос не в том, является ли результат, полученный математиком, награжденным Филдсовской премией, «важным» (или сам по себе, или с инструментальной точки зрения). Скорее, значение имеет то, насколько важно появление этого результата сейчас, а не позже. И ценность этого перемещения во времени следует сравнивать со значимостью иного результата, который мог бы получить этот математик мирового уровня, работая над другой проблемой. Как минимум в некоторых случаях Филдсовская премия становилась свидетельством того, что жизнь была потрачена на решение неправильно выбранных задач, например тех, привлекательность которых вызвана главным образом тем, что они представляли собой трудноразрешимые проблемы.

Того же упрека заслуживает и философия. Конечно, она действительно занимается изучением проблем, решение которых поможет снизить экзистенциальный риск, — с некоторыми философскими концепциями мы познакомились в этой книге. Но часть философских теорий не имеет отношения ни к экзистенциальным рискам, ни к какой-либо иной практической направленности. Конечно, некоторые проблемы, которыми занимается философия (как и математика), важны сами по себе, в том смысле, что размышлять над ними люди могут независимо от возможностей применить результаты своих умозаключений на практике. Фундаментальную природу реальности, например, стоит понимать в любом случае. Мир определенно был бы менее симпатичным местом, если бы никто не изучал метафизику, космологию или теорию струн. Однако мрачные перспективы взрывного развития интеллекта проливают новый свет на это старое как мир стремление к мудрости.

Сейчас складывается ощущение, что прогресса в области философии можно достигнуть, двигаясь окольными путями, а не за счет непосредственного философствования. Одной из многих задач, в решении которых сверхразум (и даже слегка улучшенный человеческий интеллект) мог бы опередить современных мыслителей, является задача ответа на фундаментальные научные и философские вопросы. Эта мысль предполагает следование стратегии отложенного удовольствия. Мы могли бы отложить ненадолго работу над вечными вопросами, делегировав эту задачу нашим, будем надеяться, более компетентным потомкам, чтобы сосредоточить свое внимание на более­ неотложной проблеме: повышении шансов того, что у нас вообще будут компетентные потомки. Вот это и называют настоящей философией и настоящей математикой2.

Что нужно делать?