Совместимость. Как контролировать искусственный интеллект

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем[330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Глава 10. Проблема решена?

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой^{18}.

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.

Полезные машины

Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.

Если поступающая извне целевая функция может быть неверной, то для машины не имеет смысла действовать так, словно она всегда верная. Отсюда вытекает мое предложение полезных машин, то есть таких, от которых можно ожидать действий, направленных на достижение наших целей. Поскольку эти цели находятся в нас, а не в них, машинам понадобится больше узнавать о наших реальных желаниях путем наблюдения за тем, что мы выбираем и как. Машины, сконструированные подобным образом, должны быть покорны людям: они будут спрашивать разрешения, действовать с осторожностью в отсутствие четких ориентиров и позволять себя выключить.