Совместимость. Как контролировать искусственный интеллект

Что же изменилось? Во-первых, поскольку ИИ-системы способны отслеживать онлайновые читательские привычки, предпочтения и вероятный уровень знаний индивида, они могут подгонять конкретные сообщения под эти особенности, максимизируя воздействие на человека и сводя к минимуму риск, что информации не поверят. Во-вторых, система ИИ знает, читает ли индивид сообщение, сколько времени на это тратит и переходит ли по дополнительным ссылкам внутри сообщения. Затем она использует эти сигналы как моментальную обратную связь об успехе или неудаче своей попытки повлиять на каждого индивида. Таким образом, она быстро становится более эффективной в решении своей задачи. Именно так алгоритмы выбора контента в социальных сетях исподволь повлияли на политические убеждения.

Еще одно современное достижение, сочетание ИИ, компьютерной графики и синтеза речи, позволяет создавать дипфейки (наглое вранье) — реалистичный видео- и аудиоконтент, в котором практически любой человек может говорить и делать практически все что угодно. Технология требует немногим больше, чем словесное описание желаемого события, так что воспользоваться ею сможет практически любой. Сделанное на мобильный телефон видео с сенатором Х, принимающим взятку торговца кокаином Y, продвигающего сомнительное начинание Z? Легко! Подобный контент может создавать непоколебимую веру в никогда не происходившие события[148]. Кроме того, ИИ-системы способны продуцировать миллионы ложных идентичностей — так называемые армии ботов, ежедневно выдающих миллиарды комментариев, твитов и рекомендаций, и попытки обычных людей обмениваться надежной информацией утонут в этом потоке. Такие онлайновые торговые площадки, как eBay, Taobao и Amazon, обеспечивающие доверие между покупателями и продавцами при помощи систем репутаций[149], постоянно воюют с армиями ботов, создаваемыми для разрушения этих рынков.

Наконец, методы контроля могут быть прямыми, если правительство способно ввести системы поощрения и наказания на основе поведения. Такая система рассматривает людей как алгоритмы обучения с подкреплением, натаскивая их на оптимизацию достижения цели, установленной го сударством. Государству, особенно построенному на принципе вертикальной социальной инженерии, соблазнительно рассуждать следующим образом: для каждого было бы лучше вести себя хорошо, быть патриотом и способствовать прогрессу своей страны; технология позволяет измерять поведение индивида, его взгляды и вклад в общее дело; следовательно, все только выиграют, если создать технологичную систему мониторинга и контроля, основанную на поощрении и наказании.

Подобная логическая цепочка имеет ряд недостатков. Во-первых, она игнорирует психологические издержки жизни в системе навязанного мониторинга и принуждения. Внешняя гармония, прикрывающая внутреннюю несчастность, едва ли является идеалом. Любое проявление доброты перестает быть проявлением доброты и становится действием по максимизации личного рейтинга и соответственно воспринимается адресатом. Что еще хуже, сама идея проявления альтруизма постепенно превращается в смутное воспоминание о чем-то, что когда-то было нормой. При такой системе, навещая друга в больнице, совершаешь поступок, имеющий не больше нравственного значения и эмоциональной ценности, чем если останавливаешься на красный свет. Во-вторых, эта схема подвержена той же ошибке, что и стандартная модель ИИ, а именно, она предполагает, что заявленная цель действительно является истинной, глубинной целью. Неизбежно восторжествует закон Гудхарта, и индивиды начнут оптимизировать официальные параметры внешнего поведения, как университеты научились оптимизировать «объективные» показатели «качества» из систем университетских рейтингов, вместо того чтобы повышать настоящее (но неизмеряемое) качество[150]. Наконец, введение единого параметра добродетельности упускает из виду то, что успешное общество может объединять очень разных индивидов, каждый из которых вносит в него уникальный вклад.

Право на психическую безопасность

Одним из великих завоеваний цивилизации является постепенное повышение физической безопасности для человека. Большинство из нас могут рассчитывать на спокойную жизнь, не омраченную постоянным страхом ранения и смерти. Статья 3 Всеобщей декларации прав человека 1948 г. гласит: «Каждый имеет право на жизнь, свободу и личную безопасность».

Я полагаю, что каждый также должен иметь право на психическую безопасность — право жить в преимущественно правдивом информационном окружении. Люди склонны верить своим глазам и ушам. Мы даем родственникам, друзьям, учителям и (некоторым) средствам медиа привилегию сообщать нам то, что они считают правдой. Хотя мы не ждем правды от продавцов подержанных машин и политиков, бывает трудно поверить, что можно настолько беспардонно врать. Следовательно, мы крайне уязвимы для технологии дезинформации.