Эпоха надзорного капитализма. Битва за человеческое будущее на новых рубежах власти

Похоже, что подобные вопросы могли все же беспокоить Пикард. В лекции «На пути к машинам, которые отрицают своего создателя», которую она прочитала в 2016 году в Германии, на смену успокоительным заверениям книги 1997 года, что «могут быть разработаны защитные меры», что новые технологии и технические методы могут решить любую проблему и что «носимые компьютеры» будут «собирать информацию исключительно для вашего собственного использования», будучи «инструментами расширения ваших возможностей, а не подчинения враждебным силам»[800], пришли новые размышления. «Некоторые организации хотят прощупывать человеческие эмоции, оставляя людей в неведении об этом и не спрашивая их согласия, – говорит она. – Некоторые ученые хотят создать компьютеры, которые будут намного превосходить людей и будут способны не только воспроизводить себе подобных <…> Как сделать так, чтобы новые аффективные технологии меняли человеческую жизнь к лучшему?»[801]

Пикард представить себе не могла, что рыночные силы превратят оцифровку эмоций в прибыльный излишек, в средство для достижения чужих целей. То, что ее видение реализовано сегодня в тысячах видов деятельности, должно было быть триумфом, но триумф ослабляется тем фактом, что многие из этих видов деятельности связаны с проектом коммерческого надзора. Неспособность установить ориентиры раз за разом способствует привыканию, нормализации и в конечном итоге легитимации. Подчиненный более широким целям надзорного капитализма, смысл аффективного проекта изменился, как будто исказился в кривом зеркале парка развлечений.

Этот цикл заставляет вспомнить слова другого профессора Массачусетского технологического института, специалиста по компьютерной науке и гуманиста Джозефа Вейценбаума, который не раз красноречиво говорил о непреднамеренном сговоре ученых-компьютерщиков, направленном на создание ужасающих систем вооружений. Я полагаю, что он метал бы молнии в адрес сегодняшних иногда невольных, а иногда добровольных торговцев личностью, так что уместно будет закончить главу его словами:

Я не совсем понимаю, вся ли компьютерная наука в целом или только ее раздел, занимающийся искусственным интеллектом, проявляет столь безграничное пристрастие к эвфемизмам. Мы так эффектно и с такой готовностью говорим о компьютерных системах, которые понимают, видят, решают, выносят суждения <…> не сознавая свою собственную поверхностность и неизмеримую наивность в отношении этих концепций. И в процессе подобных разговоров мы притупляем свою способность <…> осознавать их конечное назначение <…> Нельзя выйти из этого состояния, не спрашивая снова и снова: «Что я на самом деле делаю? Каково окончательное применение и использование плодов моего труда?» и в конечном счете: «Устраивает ли меня то, как они применяются, или мне стыдно за это?»[802]

Глава 10 Пусть они попляшут

Но вот чей-то плач.

Ах, причина известна —
Растление душ и паденье столиц,
Ибо зло неизбывно, ибо даже сам принц,
Ко лжи прибегая, царит в Поднебесной.

У. Х. Оден, Сонеты из Китая, XI

[803]

I. Экономия за счет действия

«Сегодня сила – действие, – сказал мне один старший инженер-программист. – Интеллект, присущий „интернету вещей“, означает, что датчики могут быть также активаторами». Директор по разработке программного обеспечения для компании, которая играет важную роль в «интернете вещей», добавляет: