Убийственные большие данные. Как математика превратилась в оружие массового поражения

Возможно, кто-то сможет предоставить доказательства обратного. Работница, обозначенная бледным кружочком, может генерировать потрясающие идеи, но не делится ими в сети. Или, возможно, она раздает бесценные советы за обедом или умеет разрядить напряжение в офисе удачной шуткой. Возможно, все ее любят, и это само по себе – большая ценность с точки зрения рабочей атмосферы. Но компьютерные системы затрудняются найти цифровые оценки для подобных тонких талантов. Релевантная информация просто не собирается – и в любом случае ее сложно наделить определенной ценностью. Такие таланты обычно не попадают в компьютерную модель.

Таким образом, система находит якобы неудачников. И большое их число потеряло работу в ходе экономического кризиса. Это само по себе несправедливо. Но, что еще хуже, системы вроде Cataphora получают совсем мало ответных данных. Кто-то, определенный как неудачник и затем уволенный, возможно, позже нашел другую работу и получил целую кучу патентов на оригинальные идеи. Но такие данные обычно не собираются. Система понятия не имеет, что совершенно неверно оценила человека – или даже тысячу человек.

В этом заключается трудность, потому что ученым обязательно нужна обратная связь, сообщающая об их ошибках – в данном случае о наличии ложноотрицательных результатов, – чтобы провести ретроспективный анализ и определить, что же пошло не так, что было неверно интерпретировано, какая информация не была учтена. Только так система способна учиться и становиться умнее. Однако, как мы видим, масса ОМП, от моделей рецидивизма до оценки результативности учителей, с легкостью создает свои собственные реальности. Менеджеры делают допущения, что результаты достаточно правдивы, чтобы принимать их во внимание, а алгоритмы позволяют им принимать сложные решения на основе этих результатов. Компании могут увольнять сотрудников и сокращать расходы, перенося вину за свои решения на объективные цифры – и неважно, насколько они в результате точны.

Cataphora так и не смогла по-настоящему утвердиться на рынке, и к тому же ее алгоритм оценки сотрудников был побочным продуктом – гораздо больше внимания разработчики уделяли распознаванию паттернов мошенничества или торговли инсайдерской информацией в компаниях. Компания вышла из бизнеса в 2012 году, а ее программное обеспечение купил стартап Chenope. Тем не менее системы вроде Cataphora потенциально могут стать настоящим оружием математического поражения. Они могут неправильно интерпретировать людей – и наказывать их, – не приводя никаких доказательств того, что эта оценка хоть как-то коррелирует с подлинным качеством работы этих сотрудников.

ПО такого типа сигнализируют о том, что ОМП поднимает голову в новой области. В течение нескольких десятилетий казалось, что только работники промышленности и сферы услуг рискуют быть подвергнуты моделированию и оптимизации. Работники же интеллектуального труда, от юристов до инженеров-химиков, могли избежать воздействия ОМП – по крайней мере на работе. Cataphora оказалась первым сигналом того, что это может измениться. И в самом деле, сейчас во всей индустрии высоких технологий компании пытаются оптимизировать своих «белых воротничков», отслеживая паттерны их общения. Гиганты высоких технологий, такие как Google, Facebook, Amazon, IBM и многие другие, находятся в процессе активного поиска.

На данный момент по крайней мере приветствуется разнообразие, поэтому есть надежда, что работники, отвергнутые одной моделью, могут быть оценены по достоинству другой. Но в конце концов появится единый стандарт индустрии – и тогда мы все окажемся в беде.

* * *

В 1983 году администрацию президента Рейгана встревожило состояние американских школ. В отчете под названием «Нация под угрозой» президентская комиссия предупреждала о «захлестывающей нас волне посредственностей», которая угрожала будущему Америки. В отчете говорилось, что если бы какая-нибудь «недружественная иностранная сила» попыталась навязать Америке такие плохие школы, то, без сомнения, это можно было бы «рассматривать как военные действия».

Самым заметным сигналом кризиса стало видимое снижение результатов SAT. В период между 1963 и 1980 годами баллы за языковые тесты снизились на 50 пунктов, а за математические – на 40[13]. Наша способность конкурировать в мировой экономике базировалась на наших умениях, а они, казалось, ухудшались.