Совместимость. Как контролировать искусственный интеллект

Го демонстрирует прекрасный пример обучения аналогичного типа. На рис. 25(а) мы видим типичную ситуацию, когда черные угрожают захватить камень белых, окружив его. Белые пытаются вырваться из окружения, добавляя камни, соседствующие с исходным, но черные продолжают отрезать пути к бегству. Эта схема ходов образует лестницу из камней по диагонали через доску, в конце концов упирающуюся в край, когда белые больше ничего не могут сделать. Если бы вы играли белыми, то, вероятно, не захотели бы повторить эту ошибку. Вы поняли бы, что схема лестницы всегда приводит к последующему захвату при любой начальной ситуации и любом направлении, на любой стадии игры, независимо от того, играете вы белыми или черными. Единственное исключение возникает, если лестница упирается в какие-то дополнительные камни, принадлежащие убегающему. Универсальность схемы лестницы напрямую вытекает из правил го.

Примеры с забытым номером телефона и с лестницей в го иллюстрируют возможность обучения эффективным общим правилам на единственном примере — огромное отличие от миллионов примеров, необходимых для глубокого обучения. В сфере ИИ этот тип обучения называется обучением на основе объяснения: увидев пример, агент может самостоятельно объяснить, почему все обернулось подобным образом, и извлечь общий принцип, выяснив, какие факторы имеют решающее значение для объяснения.

Строго говоря, процесс как таковой не добавляет новое знание. Например, белые могли бы просто вывести существование и результат общей схемы лестницы из правил го, даже не видя пример[370]. Скорее всего, однако, белые никогда не узнали бы о понятии лестницы, если бы не увидели его пример. Таким образом, обучение на основе объяснения можно рассматривать как действенный метод сохранения результатов вычислений в генерализованном виде, без необходимости повторять один и тот же мыслительный процесс (или ту же самую ошибку, при несовершенном мыслительном процессе) в будущем.

Исследования в области когнитивных наук подчеркнули важность этого типа обучения для человеческого познания. Под названием сворачивания он является краеугольным камнем очень влиятельной теории познания, предложенной Алленом Ньюэллом[371]. (Ньюэлл был одним из участников Дартмутского семинара 1956 г. и одним из лауреатов премии Тьюринга 1975 г., которую разделил с Гербертом Саймоном.) Он объясняет, почему с практикой люди начинают легче решать когнитивные задачи — многие подзадачи, изначально требующие осмысления, становятся автоматическими. Не будь этого процесса, общение людей ограничивалось бы одно- или двухсложными ответами, а математики до сих пор считали бы на пальцах.

Благодарности

Многие люди способствовали созданию этой книги. Это, прежде всего, превосходные редакторы из издательств Viking (Пол Словак) и Penguin (Лора Стикни); мой агент Джон Брокман, подтолкнувший меня что-нибудь написать; Джил Леови и Роб Райд, щедрые на полезные комментарии; а также другие читатели первых черновых текстов, особенно Зияд Марар, Ник Хэй, Тоби Орд, Давид Дювено, Мас Тегмарк и Грейс Кэсси. Кэролайн Джинмэйр оказала громадную помощь в сортировке бесчисленных рекомендаций первых читателей, а Мартин Фукуи занимался разрешениями на публикацию изображений.

Основные идеи, освещенные в этой книге, разрабатывались совместно с членами Центра исследования совместимого с человеком ИИ в Беркли. Это в первую очередь Том Гриффитс, Анка Драган, Эндрю Критч, Дилан Хэдфилд-Менелл, Рохин Шах и Смита Милли. Центром прекрасно руководят исполнительный директор Марк Нитцберг и заместитель директора Рози Кэмпбелл при щедром финансировании Open Philanthropy Foundation.

Рамона Альварес и Карин Вердо обеспечили бесперебойную работу в течение всего проекта, а моя замечательная жена Лой и наши дети, Гордон, Люси, Джордж и Айзек, щедро одаривали автора жизненно необходимыми ему любовью, терпением и подбадриванием в доведении дела до конца, не всегда в этом порядке.

Благодарность за предоставленные графические материалы

Рис. 2: (б) © The Sun / News Licensing; публикуется с разрешения Архивов Смитсоновского института.

Рис. 4: SRI International.creativecommons.org/licenses/by/3.0/legalcode.

Рис. 5: (слева) © Berkeley AI Research Lab; (справа) Boston Dynamics.

Рис. 6: © The Saul Steinberg Foundation / Artists Rights Society (ARS), New York.

Рис. 7: (слева) © Noam Eshel, Defense Update; (справа) © Future of Life Institute / Stuart Russell.

Рис. 10: (слева) AFP; (справа) публикуется с разрешения Хенрика Соренсена.

Рис. 11: Elysium © 2013 MRC II Distribution Company L. P. All Rights Reserved. Courtesy of Columbia Pictures.

Рис. 14: © OpenStreetMap contributors. OpenStreetMap.org. creativecommons.org/licenses/by/2.0/legalcode.

Рис. 19: фото местности, DigitalGlobe via Getty Images.