Совместимость. Как контролировать искусственный интеллект

Как замечает Ник Бостром в конце своей книги «Сверхразумность», успех в создании ИИ закладывает «траекторию цивилизационного развития, ведущую к сострадательному и радостному осуществлению вселенского предназначения человечества». Если мы не сумеем воспользоваться преимуществами, предлагаемыми нам ИИ, то должны будем винить в этом лишь самих себя.

Глава 4. Неправомерное использование ИИ

Гуманное и радостное осуществление вселенского предназначения человечества… Звучит прекрасно, но мы должны считаться с быстрым темпом внедрения инноваций в сфере злоупотреблений. Злоумышленники так быстро изобретают новые способы неправомерного использования ИИ, что эта глава, скорее всего, устареет еще до того, как книга пойдет в печать. Отнеситесь к дальнейшим главам не как к поводу для депрессии, а как к призыву действовать, пока не поздно.

Наблюдение, убеждение и контроль

Автоматизированное Штази ^{7}

Ministerium für Staatsicherheit, более известное как Штази, многими считается «одним из самых эффективных и репрессивных ведомств разведки и тайной полиции в истории»[143]. Оно копило досье на большинство восточногерманских домохозяйств, прослушивало телефонные разговоры, читало письма и ставило скрытые камеры в жилых домах и отелях. Оно с безжалостной эффективностью выявляло и пресекало деятельность диссидентов, отдавая предпочтение психологическому уничтожению перед тюремным заключением или физическим устранением. Однако такой уровень контроля давался большой ценой: по некоторым оценкам, более четверти взрослых работоспособного возраста являлись информаторами Штази. Архивы Штази оцениваются в 20 млрд страниц[144], и задача обработки и использования громадных входящих потоков информации начинала превосходить возможности любой организации.

Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки[145].

Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать[146]. По сравнению с этим Штази выглядят жалкими любителями.

Управление вашим поведением

Когда возможности слежки реализованы, следующий шаг — изменить ваше поведение так, как нужно тем, кто использует эту технологию. Одним из методов, довольно грубым, является автоматизированное персонализированное вымогательство. Система, понимающая, что вы делаете, — прослушивающая, читающая или наблюдающая за вами визуально — легко заметит, что вы заняты чем-то таким, чего не следовало бы делать. После этого она вступит с вами в переписку и попытается вытрясти из вас как можно больше денег (или принудить вас к определенному действию, если целью является политический контроль или шпионаж). Получение денег служит идеальным вознаграждающим сигналом, подкреплением для обучающегося алгоритма, и следует полагать, что ИИ-системы будут быстро наращивать возможность идентифицировать ненадлежащее поведение и извлекать из него выгоду. Еще в 2015 г. в разговоре со специалистом по компьютерной безопасности я предположил, что скоро можно будет создать автоматизированные системы вымогательства на основе обучения с подкреплением. Он рассмеялся и ответил, что это уже произошло. Первый бот-вымогатель, о котором много говорили, — «Делайла», обнаруженный в 2016 г.[147]

Более тонкий способ менять поведение людей состоит в изменении их информационного окружения, так, чтобы они приобрели другие убеждения и принимали иные решения. Рекламодатели делают это не одно столетие, меняя покупательское поведение индивидов. Пропаганда как средство войны и политического господства имеет еще более долгую историю.