Искусственный интеллект на службе бизнеса

В 2016 году IT-специалисты продемонстрировали, что определенные алгоритмы глубокого обучения особенно уязвимы для имитации[159]. Они тестировали свое предположение на нескольких известных платформах машинного обучения (в том числе Amazon Machine Learning), и оказалось, что при относительно малом количестве запросов (650–4000) возможно декомпилировать модели с высокой точностью вплоть до идеальной. Само по себе применение алгоритмов машинного обучения ведет к такой уязвимости.

В имитации нет ничего сложного: после обучения ИИ его механизмы доступны всему миру, и их можно скопировать. Еще неприятнее то, что овладение этой информацией позволяет злоумышленникам манипулировать прогнозом и процессом обучения. Если хакер знает суть работы машины, она становится уязвимой. Однако положительный аспект состоит в том, что подобные атаки можно отслеживать. Чтобы разобраться в работе машины, необходимы многократные запросы. Их нетипичное количество или содержание должно насторожить: поймав подходящий момент, можно защитить прогностическую машину, хотя это и непросто, но по крайней мере вы будете начеку и выясните, что уже известно хакеру. Затем можно заблокировать его либо, если это невозможно, подготовить план на случай непредвиденных осложнений.

Риски данных обратной связи

Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения. Это не просто манипуляция отдельным прогнозом, а обучение машины систематически давать неверные прогнозы.

Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе»[160]. Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт. Поначалу Tay общался не лучше попугая, но перед ним стояла важная цель.

Однако интернет – среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил @TayandYou «Ты поддерживаешь геноцид?» – и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила[161]. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.

Выводы очевидны. Конкуренты и недоброжелатели могут намеренно обучить вашу прогностическую машину давать неверные прогнозы. Tay, как и любая прогностическая машина, обучался на данных. И в реальном мире машина может столкнуться с людьми, которые воспользуются ее возможностями неразумно, со злым умыслом или непорядочно.

Возникновение рисков

Работа прогностических машин сопряжена с рисками. Любая компания, вкладывающая средства в ИИ, столкнется с ними, а устранить их все невозможно. Единого решения не существует. Но теперь вам известно, как отслеживать риски. Выясните, как прогноз различается для отдельных групп людей. Определите, отражает ли прогноз подспудные причинно-следственные связи и действительно ли они верные. Найдите компромисс между рисками для всей системы и преимуществами небольших улучшений. И бдительно высматривайте злоумышленников, способных получить информацию от прогностической машины для ее копирования или уничтожения.

Выводы

С ИИ связано множество рисков, мы кратко сформулировали шесть их основных типов.

1. Прогнозы ИИ могут приводить к дискриминации. Даже неумышленная дискриминация влечет за собой ответственность.

2. ИИ неэффективен в работе с ограниченным объемом данных. Это создает качественный риск, прежде всего типа «неизвестные известные», то есть прогноз выдается с уверенностью, но является неверным.

3. Некорректные входные данные вводят прогностические машины в заблуждение, и пользователи становятся уязвимыми по отношению к хакерским атакам.

4. Разнообразие прогностических машин, как и биологическое, включает компромисс между результатами на индивидуальном и системном уровнях. Однообразие повышает продуктивность на индивидуальном уровне, но увеличивает риск сбоя всей системы.

5. Данные прогностических машин можно заполучить, поэтому вероятна кража интеллектуальной собственности, а злоумышленникам станут известны слабые стороны машины.

6. Данные обратной связи возможно подделать, чтобы обучить прогностическую машину деструктивному поведению.

Часть V. Общество

Глава 17. За пределами бизнеса