Совместимость. Как контролировать искусственный интеллект

Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?

Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого[185]. В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder, яростно выступил против механических калькуляторов[186]:

Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить… Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!

Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.

Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин^{10} — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон[187]. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.

Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:

Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой…

Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно.

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.

Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».