Новые темные века

Прежде чем сбрасывать со счетов сценарии, рожденные в бреду писателей-фантастов и сторонников теории заговора, еще раз рассмотрим обманывающие нас алгоритмы на фондовых биржах и онлайн-рынках. Это не исключения из правила, а просто самые наглядные примеры повседневных явлений в сложных системах. В этом случае возникает вопрос: как будет выглядеть мошеннический, вводящий всех в заблуждение алгоритм или внезапный сбой в более широкой реальности?

Будет ли сбой выглядеть так, как, например, сбой программы «Mirai», которая 21 октября 2016 года на несколько часов отключила значительную часть Интернета? Когда исследователи пытались разобраться в глубинных алгоритмах «Mirai», они обнаружили, что программа нацелена на подключенные к Сети плохо защищенные устройства – от камер видеонаблюдения до цифровых видеомагнитофонов – и может превратить их в армию ботов, способных разрушать даже огромные сети. Всего за несколько недель «Mirai» заразила полмиллиона устройств, и ей потребовалось всего 10 процентов мощности, чтобы на несколько часов вывести из строя основные сети(41). Тем не менее, «Мirai» пугает не так, как «Stuxnet» – еще один вирус, обнаруженный в 2010 году в системах производственного управления гидроэлектростанций и заводских сборочных конвейеров. «Stuxnet» оказался кибероружием военного уровня. При анализе алгоритмов выяснилось, что он был нацелен на центрифуги Siemens и был сконструирован так, чтобы срабатывать при обнаружении объекта, имеющего определенное количество таких машин. Заданное число соответствует одному конкретному ядерному объекту в иранском Нетензе, Национальном центре программы по обогащению урана. При активации вирус незаметно разрушал бы важные компоненты центрифуг, выводил из строя и препятствовал иранской ядерной программе(42). Атака, по-видимому, частично сработала, но о воздействии на другие зараженные объекты неизвестно. По сей день, несмотря на очевидные подозрения, никто не знает, откуда взялся «Stuxnet» и кто его создал. Наверняка неизвестно, кто разработал «Mirai», или откуда может появиться его следующая доработанная и более совершенная версия. Возможно, она уже существует, обосновалась в камере видеонаблюдения у вас в офисе или на кухне в чайнике с поддержкой Wi-Fi.

Или, возможно, авария будет похожа на те, что показывают в блокбастерах, вращающихся вокруг темы правых заговоров и фантазий на тему выживания. В тех, где разворачиваются самые разные сюжеты от подвигов квазифашистских супергероев («Капитан Америка» и «Бэтмен») до оправданий пыток и убийств («Цель номер один», «Снайпер»). Голливудские студии подключают к созданию киносценариев нейронные Сети компании Epagogix, и система, десятилетиями обучавшаяся на анонимных предпочтениях миллионов кинозрителей, предсказывает, какие сюжетные линии будут нажимать на правильные – то есть самые прибыльные – эмоциональные кнопки аудитории(43). Их алгоритмические механизмы дополнены данными Netflix, Hulu, YouTube и других сервисов, чей доступ к поминутным предпочтениям миллионов зрителей в сочетании с дотошным сбором и сегментацией данных обеспечивает уровень когнитивного понимания, о котором раньше нельзя было и мечтать. Напрямую улавливая желания измотанных многочасовым просмотром контента и пресыщенных новостями потребителей, Сеть обращает их на саму себя, чем усиливает и без того присущую ей паранойю.

Разработчики игр увязают в бесконечных циклах обновлений и встроенных покупок: основываются на результатах альфа- и бета-тестирований, отслеживают поведение игроков в реальном времени и привносят в игры новые и новые элементы, пока не получат продукт, который так сильно влияет на выработку дофамина, что подростки умирают от истощения, не в силах оторваться от компьютеров(44). Целые отрасли замыкаются сами на себе, плодя страх и насилие.

Или, может быть, «мгновенные обвалы» на самом деле будут похожи на откровенный и ничем не прикрытый кошмар, о котором пишут в Интернете? Летом 2015 года афинская клиника по лечению расстройств сна Athens’s Evangelismos Hospital была заполнена как никогда; в стране бушевал долговой кризис, и население безуспешно противилось неолиберальной программе спасения, предложенной ЕЦБ, Еврокомиссией и МВФ (так называемой «тройкой»), – их голоса не были услышаны. Среди пациентов клиники были высокопоставленные политики и государственные служащие, и случилось так, что без их ведома аппараты, отслеживавшие их дыхание, движения и даже то, что они говорили во сне, отправляли эту информацию вместе с личными медицинскими данными больных в диагностический центр производителя медицинского оборудования в Северной Европе(45). О чем все это свидетельствует?