Новые темные века

Приобретенная и загруженная в приложение электронная книга остается собственностью продавца, и он в любое время может закрыть к ней доступ, как произошло в 2009 году, когда Amazon удалил книги «1984» и «Ферму животных» у тысяч клиентов(31). Сервисы потоковой музыки и видео фильтруют контент в зависимости от его доступности в рамках правовой юрисдикции того или иного региона, и алгоритмически определяют личные предпочтения пользователей. По мере закрытия офлайн-библиотек, академические журналы предоставляют доступ к своим материалам, исходя из платежей и регистрационных данных пользователей. Бесперебойная работа Википедии зависит от армии программных агентов, ботов, которые обеспечивают правильное форматирование, связывают между собой статьи, разрешают споры и борются с атаками вандалов. Согласно последнему опросу, семнадцать из двадцати самых продуктивных редакторов – это боты; в совокупности они вносят около 16 процентов всех правок в энциклопедии – конкретный и измеримый вклад в производство знаний с помощью самого кода(32). Чтение книги, прослушивание музыки, исследования и обучение – эти и многие другие виды деятельности все больше регулируются алгоритмической логикой и контролируются непрозрачными и скрытыми вычислительными процессами. Сама культура является «закодированным пространством».

За воспроизводством физического и культурного пространства посредством компьютеризации скрывается огромное неравенство власти: воспроизводство с него начинается и им же заканчивается. Компьютерные вычисления не просто развивают, создают и формируют культуру; действуя за гранью нашего повседневного, естественного осознания, они фактически сами становятся культурой.

Вычислительные модели и симуляции в итоге замещают свои исходники. Поисковая система Google начала с индексирования совокупности человеческих знаний, а стала источником и арбитром этих знаний. Теперь люди думают то, что показывает Google. Изначально Facebook отображал существующие связи между людьми, строил некий социальный график, а стал платформой для формирования этих связей, безвозвратно изменив социальные отношения. Подобно системе управления воздушным движением, ошибочно принимающей стаю птиц за бомбардировщики, программное обеспечение не может отличить созданную им же модель мира от реальности, а в этих условиях – и мы тоже.

Наша слепота обусловлена двумя причинами: сочетание непрозрачности и сложности делает боˊльшую часть вычислительного процесса неразборчивой; при этом само вычисление считается политически и эмоционально нейтральным. Вычисления непрозрачны: они происходят внутри машины, за экраном, в отдаленных зданиях, как бы внутри облака. Даже когда эта непрозрачность нарушается прямым восприятием кода и данных, она остается за пределами понимания большинства. Объединение сложных систем в современные сетевые приложения означает, что ни один человек не видит всей полноты картины. Вера в машину является предпосылкой для ее использования, и это подкрепляет другие когнитивные предубеждения, согласно которым автоматизированные ответы заведомо заслуживают большего доверия, чем неавтоматизированные.

Это явление, известное как предвзятость автоматизации, наблюдается во всех вычислительных областях, от программного обеспечения для проверки орфографии до автопилотов, и у всех типов людей. Предвзятость автоматизации приводит к тому, что мы ценим автоматизированную информацию выше своего собственного опыта, даже если она противоречит другим наблюдениям, особенно когда эти наблюдения неоднозначны. Автоматизированная информация ясна и прямолинейна, она скрывает серые области, мешающие познанию. Другое связанное с этим явление – предвзятость подтверждения, то есть склонность обращать внимание на то, что соответствует существующей точке зрения. Предвзятость подтверждения изменяет наше понимание мира, чтобы привести его в большее соответствие с автоматизированной информацией, дополнительно подтверждая достоверность вычислительных решений до такой степени, что мы можем полностью пренебречь наблюдениями, если они расходятся с точкой зрения машины(33).

Наблюдения за пилотами высокотехнологичных самолетов показали множество примеров предвзятости автоматизации. Пилоты рейса Korean Air Lines, крушение которого повлияло на судьбу системы GPS, стали жертвами самой распространенной ошибки, связанной с предвзятостью автоматизации.