Убийственные большие данные. Как математика превратилась в оружие массового поражения

Короче говоря, этот отчет был сплошной путаницей. Но Ванда Тейлор имела опыт в подобных вещах. Она начала пристально изучать информацию и быстро вычеркнула версию с Шантель, которая показалась ей неправдоподобной. Затем она выяснила, что у воровки из Иллинойса была на лодыжке татуировка с именем Трой. Попросив Кэтрин Тейлор показать лодыжки, она вычеркнула и эту версию. К концу встречи всего один добросовестный сотрудник смог удалить всю чепуху, собранную брокером, просто отловившим случайную информацию в интернете. Теперь ведомство по делам недвижимости знало, с какой именно Кэтрин Тейлор оно имеет дело.

Вопрос, на который пока нет ответа, заключается в следующем: а сколько имеется добросовестных сотрудников, готовых исправлять подобные ошибки? Ответ: совершенно недостаточно. Живые люди в экономике данных – это пережитки и исключения. Системы настроены так, чтобы работать с максимальной степенью автоматизации, лишь это эффективно и прибыльно. Ошибки неизбежны, как и в любой статистической программе, но самый простой способ их уменьшить – тоньше настроить алгоритмы, которые управляют машинами. Люди только путаются под ногами.

Эта тенденция к автоматизации лишь ускоряется с развитием компьютеров, которые все лучше и лучше могут разбирать записанную информацию, в некоторых случаях обрабатывая тысячи написанных документов в секунду. Но они все еще неправильно понимают многие вещи. Даже суперкомпьютер Watson, играющий в Jeopardy!, при всем своем великолепии был поставлен в тупик языковым контекстом в десяти процентах случаев. Однажды он решил, что бабочки питаются «кошерно», а в другой раз перепутал Оливера Твиста, персонажа Чарльза Диккенса, и группу Pet Shop Boys.

Подобные ошибки неизбежно накапливаются в наших досье, путая и неправильно ориентируя алгоритмы, которые все больше управляют нашими жизнями. Эти ошибки, следствие автоматического сбора данных, делают токсичными предиктивные модели и усиливают деструктивное воздействие оружия математического поражения. Однако автоматический сбор продолжает развиваться. Компьютеры все более активно выходят за пределы письменного мира. Они обрабатывают устную информацию и изображения и используют их, чтобы собрать больше информации обо всем во вселенной – включая нас. Эти новые технологии соберут массу новой информации для наших досье – увеличив и риск появления новых ошибок.

Совсем недавно система распознавания образов компании Google обработала фотографии троицы счастливых молодых афроамериканцев, и автоматический сервис проставления тегов для изображений обозначил всех троих как горилл. Конечно, компания принесла глубокие извинения, но в системах, подобных Google, такие ошибки неизбежны. Скорее всего, это ошибка машины, а не каверзы расиста, затаившегося на просторах Googleplex: программное обеспечение просмотрело миллиарды изображений людей и приматов и научилось неплохо распознавать характерные черты – от оттенков цвета кожи до расстояния между глазами и формы ушей. Однако очевидно, что алгоритм не был достаточно хорошо протестирован перед выпуском. Подобные ошибки – это возможности для дальнейшего обучения машины, но только в том случае, если система получает обратную связь с сообщением о том, что она ошиблась. В данном случае эта обратная связь была получена. Но несправедливость продолжает существовать. Когда автоматические системы просматривают наши данные, чтобы на их основе составить наш электронный рейтинг, они явным образом проецируют прошлое в будущее. И, как мы видели в случае с моделями возможности рецидива, а также хищническими кредитными алгоритмами, они исходят из того, что бедные останутся бедными навсегда, и относятся к ним соответствующим образом: лишают их возможностей, чаще сажают в тюрьму, обманывают с сервисами и кредитами. Подобное отношение неизбежно, зачастую слишком глубоко спрятано и недостижимо для обжалования.

В то же время мы не можем рассчитывать на то, что автоматические системы решат проблему несправедливости. При всей их невероятной мощи они пока не могут делать поправки на справедливость – во всяком случае, не могут сделать этого самостоятельно. Обработка данных с приоритетом установления справедливости совершенно чужда машинам, и их невероятно сложно этому научить. Только человек может с таким справиться.

Здесь можно увидеть парадокс. Если мы снова вернемся к нашему банкиру 1950-х годов, мы увидим, что его сознание наполнено человеческими предубеждениями: желаниями, предрассудками, недоверием к чужакам. Именно для того, чтобы делать свою работу более справедливо и более эффективно, он и его коллеги по профессии и передали работу алгоритму.