Совместимость. Как контролировать искусственный интеллект

Я, разумеется, не утверждаю, что для написания диссертации необходимо заранее спланировать триллион мышечных действий. Сначала составляются лишь весьма абстрактные планы: скажем, выбор университета в Беркли или другом месте, выбор научного руководителя или темы исследования, обращение за финансированием, получение студенческой визы, переезд в выбранный город, проведение исследований и т. д. Чтобы сделать выбор, вы просто размышляете необходимое количество времени, пока решение не станет ясным. Если выполнимость некоторых абстрактных шагов, скажем, получения визы, неясна, вы еще думаете, возможно, собираете информацию, то есть делаете план более конкретным в деталях: это может быть выбор типа визы, на который вы имеете право, сбор необходимых документов и подача заявления. На рис. 17 показан абстрактный план и уточнение шага «Получить визу» из трех шагов. Когда наступает время выполнять план, его начальные шаги должны быть уточнены по всей цепочке вплоть до примитивного уровня, чтобы ваше тело могло их осуществить.

AlphaGo просто не способна мыслить подобным образом: единственные действия, которые она когда-либо обдумывает, — это примитивные действия, происходящие в последовательности от начального состояния. У нее нет понятия абстрактного плана. Пытаться применить AlphaGo в реальном мире — все равно что писать роман, гадая, какая буква должна быть первой, А, Б, В и т. д.

В 1962 г. Герберт Саймон подчеркнул важность иерархической организации в знаменитой статье «Архитектура сложности»[339]. Исследователи ИИ с начала 1970-х гг. разработали различные методы создания и уточнения иерархически организованных планов[340]. Некоторые из получившихся систем способны разрабатывать планы в десятки миллионов шагов — например, организовывать производственную деятельность большой фабрики.

Сейчас мы имеем достаточно хорошее теоретическое понимание значения абстрактных действий — того, как определить их практический эффект[341]. Рассмотрим для примера абстрактное действие «Приехать в Беркли» из рис. 17. Его можно выполнить многими способами, каждый из которых по-разному повлияет на мир. Вы можете решить поплыть туда на корабле зайцем, прилететь в Канаду и пешком перейти границу, нанять частный бизнес-джет и т. д. Однако пока вам незачем обдумывать все эти варианты. Если вы уверены, что существует способ сделать это, не требующий слишком много времени и денег или не сопряженный с таким риском, чтобы поставить под угрозу весь план, вы можете просто включить шаг «Приехать в Беркли» в план и не сомневаться, что план будет выполнен. Подобным образом можно строить высокоуровневые планы, которые со временем превратятся в миллиарды или триллионы примитивных шагов, даже не задумываясь о том, что это за шаги, пока не настанет время их выполнять.

Конечно, ничто из этого невозможно без иерархии. Без высокоуровневых действий, таких как получение визы и написание диссертации, мы не можем составить абстрактный план получения PhD. Без действий еще более высокого уровня вроде получения PhD и основания компании не можем планировать получить PhD и основать компанию. В реальном мире мы потерялись бы без обширной библиотеки действий на десятках уровней абстракции. (В игре го очевидная иерархия действий отсутствует, поэтому большинство из нас действительно теряется в ней.) В настоящее время, однако, все существующие методы иерархического планирования основываются на создаваемой человеком последовательности абстрактных и конкретных действий. Мы пока не понимаем, как можно научиться практическому формированию таких иерархий из опыта.

Приложение Б. Знание и логика

Логика — это наука о рассуждении на основе точного знания. Она носит всецело общий характер, независимо от предмета, а именно, знание может быть абсолютно о чем угодно. Логика, таким образом, есть неотъемлемая часть нашего понимания универсальной разумности.

Главным условием логики является формальный язык с точными значениями предложений этого языка, так, чтобы имелся однозначный процесс определения того, является ли предложение истинным или ложным в данной ситуации. Вот и все. Если это условие выполнено, мы можем писать осмысленные алгоритмы рассуждения, составляющие новые предложения из уже известных. Эти новые предложения гарантированно будут вытекать из предложений, которые система уже знает, следовательно, обязательно будут истинными в любой ситуации, в которой истинны исходные предложения. Это позволяет машине отвечать на вопросы, доказывать математические теоремы или разрабатывать планы, которым гарантирован успех.