Искусственный интеллект на службе бизнеса

Не только персональный прогноз уязвим для манипуляций – у общего тоже есть свои риски, связанные с махинациями на уровне популяции. Экологи утверждают, что гомогенная популяция подвержена риску заболеваний и уничтожения больше[153]. Приведем классический пример из области сельского хозяйства: если все фермеры региона или страны выращивают один вид культуры, это принесет краткосрочную выгоду; скорее всего, его и выберут потому, что здесь он растет лучше других. Выбрав лучший вид, фермеры снижают индивидуальные риски. Однако в такой гомогенности кроется опасность распространения болезней и влияния неблагоприятных климатических условий. Если все фермеры выращивают один вид конкретного растения, то все поля становятся уязвимыми к какой-либо одной болезни, следовательно, масштабы вероятного бедствия возрастают. Монокультурные хозяйства выгодны владельцам, но увеличивают риск для системы в целом.

Эта концепция применима к IT вообще и прогностическим машинам в частности. Если какая-то одна система машин окажется полезнее других, она распространится на организацию в целом или даже на весь мир. На автомобили могут установить самую безопасную прогностическую машину, что снизит индивидуальные риски и повысит безопасность, но также усилит вероятность масштабного сбоя, намеренного или нет. Если все автомобили работают на одном алгоритме, то его можно взломать, изменить каким-либо образом данные или модель, и все они выйдут из строя одновременно. Как и в сельском хозяйстве, гомогенность улучшает результаты на индивидуальном уровне за счет умножения вероятности общего краха системы.

Вроде бы несложное решение проблемы сбоя системы заключается в разнообразии используемых прогностических машин. Это снижает угрозу безопасности, но за счет пониженной эффективности и к тому же повышает риск случайных мелких сбоев из-за отсутствия стандартизации. Разнообразие машин, как и биологическое, включает в себя компромисс между результатами на индивидуальном и системном уровнях.

В большинстве случаев системный сбой происходит вследствие одновременной атаки на несколько прогностических машин. Например, атака на один беспилотный автомобиль угрожает личной безопасности, а на несколько сразу – внутренней безопасности государства.

Еще один способ защиты от одновременной массированной атаки, подходящий для стандартизированной системы гомогенных прогностических машин, – отсоединение устройства от облака[154]. Мы уже рассказывали о плюсах внедрения прогнозов в устройства вместо облака для ускорения контекстного обучения (в ущерб точности прогнозов в целом) и обеспечения конфиденциальности.

Но существуют и другие преимущества. Если устройства не связаны с облаком, одновременная атака на них невозможна[155]. Хотя обучение прогностической машины, вероятнее всего, будет происходить в облаке, по его завершении целесообразно осуществлять прогнозирование непосредственно на устройстве, без отправки информации обратно в облако.

Риски обучающих данных

Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин. Самый, наверное, известный пример – трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google. Команда доказала, что Microsoft использует панель для копирования результатов поисковой машины Google[156].

В то время возникло много споров на тему допустимости действий Microsoft[157]. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила – хотя вполне могла, – как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину[158].

Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.