Сердце машины. Наше будущее в эру эмоционального искусственного интеллекта

На протяжении примерно трех миллионов лет человечество и технология идут параллельными, хотя и разными путями. С учетом того, как мы поддерживаем друг друга, это состояние можно назвать совместной эволюцией. Технология достигла своего современного уровня целиком и полностью благодаря мышлению и усилиям человека. Но и мы без технологии были бы совершенно другим видом, если бы вообще выжили. Таким образом, мы обязаны друг другу своим нынешним процветанием.

Но ситуация может измениться. Когда технология или некая ее разновидность окажется на достаточном уровне волеизъявления и самоопределения, даже не обладая сознанием, она сможет самостоятельно направлять свое будущее развитие. Это означает, что технология будет не только воспроизводить сама себя, но и изменять себя. Такой переход сделает невозможной дальнейшую совместную эволюцию, которая длилась так долго.

Одно из главных различий между естественной и технологической эволюцией – намерение. Биологическая эволюция – результат естественного отбора, мутации и других сил, объединенных тем, что их ничто не направляет. Они просто происходят, и нам просто повезло, что их комбинация в далеком прошлом дала начало виду Homo sapiens.

Этот процесс не был целенаправленным, и он не был завершенным. Мы – не конечная точка, а скорее остановка на пути к чему-то еще. Так уж получилось, что пока мы единственный на этом пути вид, способный распознать и осмыслить механизмы, благодаря которым мы появились. В этом состоит наша подлинная уникальность, и именно из-за нее у нас возникают проблемы, когда мы осмысливаем свое место в мире, вселенной и глобальном порядке вещей.

Несмотря на то что при создании разумных машин мы наследуем принципы биологических систем, стоит предположить, что любая попытка скопировать принципиально иную систему окажется в лучшем случае напрасной тратой сил, вычислительных мощностей и ресурсов.

Однако если перейти определенную черту, то изменится наш мир и, возможно, огромное количество других миров во вселенных, где обитает достаточно разумная жизнь. Из-за разницы в скорости развития биологической жизни и технологий изменения гарантированы. Сама природа постоянно ускоряющегося прогресса говорит о том, что первый биологический вид, взявший на вооружение технологию, может оказаться и последним. Кроме того, самонаправленная эволюция получает преимущество перед естественной эволюцией, поэтому машинный разум может оказаться единственным выжившим. Даже если человечество уцелеет, оно может быстро отклониться от естественного курса. Это может оказаться нашей единственной стратегией долговременного выживания, которую мы сейчас и рассмотрим.

Сценарий о дружбе человека и машины, развивавшийся три миллиона лет, достиг той ключевой точки, после которой возможно развитие нескольких сюжетных линий. И не у всех из них счастливый финал.

Перед нами несколько сценариев, и некоторые вполне можно назвать «концом света в привычном понимании». Одно из последствий развития технологии в геометрической прогрессии и закона Курцвейла об ускоряющейся отдаче заключается в том, что в какой-то момент технология может стать продвинутой до такой степени, что начнет самосовершенствоваться с постоянно растущей скоростью, результатом чего станет взрывоподобное развитие искусственного интеллекта.

Машинный сверхразум быстро станет сильнее всех умов планеты вместе взятых. Как мы уже знаем из предыдущей главы, этот разум наверняка будет нам чужд. Более того, почти нет гарантий или даже вероятности, что его ценности, мотивы и логика будут совпадать с нашими. Разрабатывались многочисленные стратегии взаимодействия с таким сверхразумом, включая варианты Трех законов Азимова, теории дружественного искусственного интеллекта Юдковски и глобальной ИИ-няни Герцеля¹. К сожалению, каждая из них далека от полноценной стратегии, которая нас интересует. Есть некоторые разногласия по поводу того, какой из вариантов более вероятен, но более важен другой вопрос: каким будет результат – благоприятным или наихудшим из возможных.

Одна группа сценариев повторяет сценарии фильмов серии «Терминатор» настолько точно, что их часто называют сценариями «Терминатора». В фильмах этой серии между людьми и машинами идет война, и человечество представляет собой разрозненную массу повстанцев, которые в конце концов побеждают под самый финал истории. К сожалению, так бывает только в кино. В сценариях футурологов оценка разницы интеллекта, доступных ресурсов и уязвимостей говорит в пользу того, что все люди до единого окажутся стерты с лица земли за считанные дни, если не минуты. Поднять восстание будет попросту некому.