Nexus

Разумеется, распознавание образов имеет и огромный положительный потенциал. Алгоритмы могут помочь выявить коррумпированных чиновников, преступников и корпорации, уклоняющиеся от уплаты налогов. Алгоритмы также могут помочь сотрудникам санитарных служб из плоти и крови выявлять угрозы для нашей питьевой воды, врачам - распознавать болезни и развивающиеся эпидемии, а полицейским и социальным работникам - выявлять супругов и детей, подвергшихся насилию. На следующих страницах я уделяю относительно мало внимания положительному потенциалу алгоритмических бюрократий, поскольку предприниматели, возглавляющие революцию ИИ, и так уже завалили общественность достаточно радужными прогнозами о них. Моя цель - уравновесить эти утопические видения, сосредоточившись на более зловещем потенциале алгоритмического распознавания образов. Надеюсь, мы сможем использовать положительный потенциал алгоритмов, одновременно регулируя их разрушительные возможности.

Но для этого мы должны сначала осознать фундаментальное различие между новыми цифровыми бюрократами и их предшественниками из плоти и крови. Неорганические бюрократы могут быть "включены" двадцать четыре часа в сутки, они могут следить за нами и взаимодействовать с нами в любом месте и в любое время. Это означает, что бюрократия и слежка больше не являются чем-то, с чем мы сталкиваемся только в определенное время и в определенном месте. Система здравоохранения, полиция и манипулирующие корпорации становятся вездесущими и постоянными элементами жизни. Вместо организаций, с которыми мы взаимодействуем только в определенных ситуациях - например, когда посещаем поликлинику, полицейский участок или торговый центр, - они все чаще сопровождают нас каждую минуту, наблюдая и анализируя каждый наш поступок. Как рыба живет в воде, так и человек живет в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое наше действие оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.

 

НАБЛЮДЕНИЕ ПОД КОЖЕЙ

К лучшему или худшему, но цифровая бюрократия может не только следить за тем, что мы делаем в мире, но даже наблюдать за тем, что происходит внутри нашего тела. Возьмем, к примеру, отслеживание движений глаз. К началу 2020-х годов камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах начнут регулярно собирать и анализировать данные о движениях наших глаз, включая крошечные изменения зрачков и радужной оболочки, длящиеся всего несколько миллисекунд. Человеческие агенты едва ли способны заметить такие данные, но компьютеры могут использовать их для расчета направления нашего взгляда, основываясь на форме наших зрачков и радужных оболочек, а также на отражении ими света. Аналогичные методы позволяют определить, фиксируются ли наши глаза на стабильной цели, преследуют ли они движущуюся цель или блуждают по сторонам более бессистемно.

По определенным паттернам движения глаз компьютеры смогут отличать, например, моменты осознанности от моментов рассеянности, а людей, ориентированных на детали, от тех, кто уделяет больше внимания контексту. По нашим глазам компьютеры могли бы определять многие дополнительные черты личности, например, насколько мы открыты для нового опыта, и оценивать уровень нашей компетентности в различных областях - от чтения до хирургии. Эксперты, обладающие хорошо отточенными стратегиями, демонстрируют систематические модели взгляда, в то время как глаза новичков бесцельно блуждают. Паттерны взгляда также указывают на уровень нашего интереса к объектам и ситуациям, с которыми мы сталкиваемся, и различают позитивный, нейтральный и негативный интерес. Из этого можно сделать вывод о наших предпочтениях в самых разных областях - от политики до секса. Многое также можно узнать о состоянии здоровья и употреблении различных веществ. Употребление алкоголя и наркотиков - даже в неинтоксикационных дозах - оказывает заметное влияние на свойства глаз и взгляда, например, изменяет размер зрачка и ухудшает способность фиксироваться на движущихся объектах. Цифровая бюрократия может использовать всю эту информацию в благотворных целях - например, для раннего выявления людей, страдающих наркоманией и психическими заболеваниями. Но, очевидно, она также может стать основой для самых навязчивых тоталитарных режимов в истории.