Nexus

В главе 4 мы увидели, что уже тысячи лет назад люди мечтали найти непогрешимую информационную технологию, которая защитила бы нас от человеческой коррупции и ошибок. Священные книги были дерзкой попыткой создать такую технологию, но она провалилась. Поскольку книга не могла толковать сама себя, необходимо было создать человеческий институт, который бы толковал священные слова и адаптировал их к меняющимся обстоятельствам. Разные люди по-разному интерпретировали священную книгу, тем самым открывая дверь для коррупции и ошибок. Но в отличие от священной книги, компьютеры могут адаптироваться к меняющимся обстоятельствам, а также интерпретировать свои решения и идеи за нас. В результате некоторые люди могут прийти к выводу, что поиски непогрешимой технологии наконец увенчались успехом и что мы должны относиться к компьютерам как к священной книге, которая может говорить с нами и толковать сама себя, не нуждаясь во вмешательстве человеческих институтов.

Это было бы чрезвычайно опасной авантюрой. Когда определенные интерпретации священных писаний время от времени приводили к таким бедствиям, как охота на ведьм и религиозные войны, люди всегда были способны изменить свои убеждения. Когда человеческое воображение вызывало воинственного и полного ненависти бога, у нас оставалась возможность избавиться от него и представить себе более терпимое божество. Но алгоритмы - независимые агенты, и они уже отбирают у нас власть. Если они приведут к катастрофе, простое изменение наших представлений о них не обязательно остановит их. И весьма вероятно, что если доверить компьютерам власть, они действительно приведут к катастрофе, ведь они ошибаются.

Когда мы говорим, что компьютеры ошибаются, это значит гораздо больше, чем то, что они иногда допускают фактическую ошибку или принимают неверное решение. Гораздо важнее, что, как и человеческая сеть до нее, компьютерная сеть может не найти правильного баланса между истиной и порядком. Создавая и навязывая нам мощные межкомпьютерные мифы, компьютерная сеть может вызвать исторические катаклизмы, которые превзойдут по масштабам европейские охоты на ведьм раннего нового времени или сталинскую коллективизацию.

Представьте себе сеть из миллиардов взаимодействующих компьютеров, которые накапливают огромное количество информации о мире. Преследуя различные цели, компьютеры, объединенные в сеть, разрабатывают общую модель мира, которая помогает им общаться и сотрудничать. Эта общая модель, вероятно, будет полна ошибок, вымыслов и пробелов, и будет скорее мифологией, чем правдивым описанием Вселенной. Один из примеров - система социальных кредитов, которая делит людей на фиктивные категории, определяемые не человеческими мотивами вроде расизма, а какой-то непостижимой компьютерной логикой. Мы можем сталкиваться с этой мифологией каждый день своей жизни, поскольку она будет определять многочисленные решения, принимаемые компьютерами в отношении нас. Но поскольку эта мифическая модель будет создана неорганическими существами, чтобы координировать действия с другими неорганическими существами, она не будет иметь ничего общего со старыми биологическими драмами и может быть совершенно чуждой нам68.

Как отмечалось в главе 2, масштабные общества не могут существовать без мифологии, но это не значит, что все мифологии одинаковы. Чтобы уберечься от ошибок и эксцессов, некоторые мифологии признали свое ошибочное происхождение и включили механизм самокоррекции, позволяющий людям подвергать мифологию сомнению и изменять ее. Такова, например, модель Конституции США. Но как люди могут исследовать и исправлять компьютерную мифологию, которую мы не понимаем?

Одно из потенциальных средств защиты - научить компьютеры осознавать собственную ошибочность. Как учил Сократ, умение сказать "я не знаю" - важный шаг на пути к мудрости. И это относится к компьютерной мудрости не меньше, чем к человеческой. Первый урок, который должен усвоить каждый алгоритм, - это то, что он может совершать ошибки. Детские алгоритмы должны научиться сомневаться в себе, сигнализировать о неопределенности и подчиняться принципу предосторожности. В этом нет ничего невозможного. Инженеры уже добились значительных успехов в том, чтобы побудить ИИ выражать сомнение в себе, просить обратной связи и признавать свои ошибки.