Совместимость. Как контролировать искусственный интеллект

Другого рода масштабирование проистекает из способности машины заглядывать в далекое будущее с большей точностью, чем доступна людям. Мы уже видели это в шахматах и го. Имея способность строить и анализировать иерархические планы на длительные периоды времени, идентифицировать новые абстрактные действия и высокоуровневые описательные модели, машины перенесут это преимущество в такие области, как математика (доказательство новых полезных теорем) и принятие решений в реальном мире. Такие задачи, как эвакуация населения огромного города в случае природной катастрофы, станут относительно несложными, причем машина выработает индивидуальные инструкции для каждого человека и автомобиля, чтобы минимизировать количество несчастных случаев.

Машина без особых усилий могла бы изобрести рекомендации по предотвращению глобального потепления. Моделирование земных систем требует знания физики (атмосфера, океаны), химии (углеродный цикл, почвы), биологии (разложение, миграция птиц), инженерного дела (возобновляемая энергия, связывание углерода), экономики (промышленность, потребление энергии), природы человека (тупость, жадность) и политики (еще больше тупости, еще больше жадности). Как отмечалось, машина получит доступ к огромному числу данных для наполнения этих моделей. Она сможет предложить или осуществить новые эксперименты и экспедиции для снижения неизбежной неопределенности — например, открытия реальных объемов газогидратов в мелководных зонах океана. Она будет способна учесть огромное количество возможных мер политики — законов, стимулов, рынков, изобретений и различных мероприятий, — но, разумеется, должна будет также найти способы убедить нас следовать им.

Пределы сверхинтеллекта

В своих мечтах важно вовремя остановиться. Распространенная ошибка — приписывать сверхинтеллектуальным ИИ-системам божественную силу всеведения, полного и совершенного знания не только настоящего, но и будущего[134]. Это не соответствует действительности, поскольку требует физически недостижимой способности с точностью определять текущее состояние мира, а также нереализуемой возможности моделировать намного быстрее, чем в реальном времени, функционирование мира, включающего саму машину (не говоря уже о миллиардах мозгов, остающихся вторым по сложности объектом во Вселенной).

Это не значит, что невозможно достаточно уверенно предсказать некоторые аспекты будущего. Например, я знаю, какой курс и в какой аудитории буду читать в Беркли почти через год, несмотря на заявления адептов теории хаоса о крыле бабочки и прочем. (Я также не думаю, что люди сколько-нибудь ближе к предсказанию будущего, чем позволяют законы физики!) Чтобы сделать прогноз, нужны правильные абстракции. Например, я могу предсказать, что «я» буду находиться «на трибуне аудитории Уилера» в кампусе Беркли в последний вторник апреля, но не могу предсказать свое местоположение с точностью до миллиметра или какие атомы углерода к тому времени будут содержаться в моем теле.

На машины также распространяются определенные ограничения, налагаемые реальностью на темпы освоения миром новых знаний; это одно из ценных наблюдений Кевина Келли в его статье о сверхупрощенных прогнозах в отношении сверхчеловеческого ИИ[135]. Например, чтобы узнать, лечит ли у подопытного животного данное лекарство определенный вид рака, ученый, будь то человек или машина, выбирает из двух вариантов: ввести животному лекарство и подождать несколько недель или выполнить научно точное моделирование. Моделирование, однако, требует обширных знаний в области биологии, в том числе в настоящее время недоступных, следовательно, сначала пришлось бы поставить эксперименты для построения модели. Без сомнения, это требует времени и должно делаться в реальном мире.

С другой стороны, машина могла бы провести множество экспериментов, необходимых для построения модели, параллельно интегрировать их результаты в согласованную (хотя и очень сложную) модель и сравнить ее предсказания с комплексом экспериментальных данных, доступных биологическим экспериментам. Более того, для этого необязательно квантово-механическое моделирование всего организма вплоть до уровня реакций отдельных молекул — что, отмечает Келли, потребовало бы больше времени, чем эксперименты в реальном мире. Как я могу с определенной уверенностью спрогнозировать, где буду находиться по вторникам в апреле, так и свойства биологических систем можно точно предсказывать на абстрактных моделях, в том числе потому что биология оперирует надежными системами управления на основе комплексных схем обратной связи, и мелкие колебания исходных условий обычно не приводят к крупным отклонениям результатов. Таким образом, хотя маловероятно, чтобы машины сделали научные открытия прямо сейчас, можно ожидать, что с помощью машин наука станет развиваться намного быстрее. Собственно, это уже происходит.