Совместимость. Как контролировать искусственный интеллект

Здесь ортогональный означает «под прямым углом», в том смысле, что степень интеллекта — это одна ось, определяющая интеллектуальную систему, а ее цели — другая ось, и мы можем независимо менять их значения. Например, автономный автомобиль может получить в качестве места назначения любой конкретный адрес; если мы научим машину лучшему вождению, она не начнет отказываться выезжать по адресам, в которых номера домов кратны 17. Аналогично легко представить, что перед универсальной интеллектуальной системой можно поставить практически любую задачу, в том числе максимизации количества скрепок или известных разрядов числа пи. Именно так работают системы обучения с подкреплением и другие типы оптимизации вознаграждения: алгоритмы являются полностью универсальными и принимают любой вознаграждающий сигнал. Для инженеров и программистов, действующих в рамках стандартной модели, тезис об ортогональности абсолютно очевиден.

Идея о том, что интеллектуальные системы могли бы просто созерцать мир, чтобы понять свою цель, предполагает, что достаточно интеллектуальная система станет естественным образом отбрасывать свою первоначальную цель ради «правильной» цели. Трудно понять, зачем рациональный агент станет это делать. Более того, изначально предполагается, что где-то в мире присутствует «правильная» цель; это должна быть цель, общая и для питающейся железом бактерии, и для человека, и для всех остальных биологических видов, что трудно представить.

Самая явная критика тезиса об ортогональности Бострома исходит от признанного робототехника Родни Брукса, считающего, что программа не может быть «достаточно умной, чтобы найти способы отвратить человеческое общество от достижения целей, поставленных перед ней человечеством, не понимая, каким образом это создало проблемы для тех же самых людей»[230]. К сожалению, подобное поведение программы не просто возможно, но на самом деле неизбежно в свете того, как Брукс ставит вопрос. Брукс предполагает, что оптимальный план «достижения целей, поставленных перед машиной человечеством» вызывает проблемы для человечества. Отсюда следует, что эти проблемы отражают нечто ценное для человечества, что было упущено в целях, поставленных им перед системой. Оптимальный план, осуществляемый машиной, вполне может обернуться проблемами для людей, и машина прекрасно может об этом знать. Однако по определению машина не распознает эти проблемы как «проблемные». Ее это не касается.

Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового»[231]. В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания»[232]. Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.

Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».

Возрождение дебатов