Nexus

Чтобы проверить алгоритмы, регулирующие органы должны будут не только анализировать их, но и переводить свои открытия в понятные человеку истории. В противном случае мы никогда не будем доверять регулирующим институтам, а вместо этого будем верить в теории заговора и харизматичных лидеров. Как отмечалось в главе 3, людям всегда было трудно понять бюрократию, потому что бюрократии отклонялись от сценария биологических драм, а у большинства художников не хватало желания или способности изображать бюрократические драмы. Например, в романах, фильмах и сериалах о политике XXI века основное внимание уделяется вражде и любовным связям нескольких влиятельных семей, как будто современные государства управляются так же, как древние племена и королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.

Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод "Nosedive" в научно-фантастическом сериале "Черное зеркало".

Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, "Nosedive" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.

Эта история опирается на некоторые элементы традиционных биологических драм - "парень встречает девушку" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. "Nosedive" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.

Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме "Nosedive", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут "привести к дискриминационным результатам и исключению определенных групп" и "нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.

 

ЦИФРОВАЯ АНАРХИЯ

Новая компьютерная сеть представляет собой последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может привести к цифровой анархии. Децентрализованная природа демократий и их сильные самокорректирующиеся механизмы служат защитой от тоталитаризма, но они также усложняют обеспечение порядка. Чтобы функционировать, демократия должна отвечать двум условиям: она должна обеспечивать свободный общественный диалог по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен скатываться в анархию. Особенно когда речь идет о срочных и важных проблемах, общественные дебаты должны вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для принятия какого-то окончательного решения, даже если оно не всем нравится.