Искусственный интеллект

Мы поняли, какими огромными возможностями может располагать сверхразум, чтобы согласно своим целям менять будущее. Но каковы эти цели? Каковы устремления? Будет ли зависеть степень мотивации сверхразума от уровня его интеллекта? В этой главе мы выдвинем два тезиса. Тезис об ортогональности гласит (с некоторыми исключениями), что можно комбинировать любой уровень интеллекта с любой целью, поскольку интеллект и конечные цели представляют собой ортогональные, то есть независимые, переменные. Тезис об инструментальной конвергенции гласит, что сверхразумные действующие силы, или агенты, — при самом широком разнообразии своих конечных целей — тем не менее будут преследовать сходные промежуточные цели, поскольку на это у всех агентов будут одинаковые инструментальные причины. Рассмотренные вместе, эти тезисы помогут нам яснее представить, каковы намерения сверхразумного актора.

Связь между интеллектом и мотивацией

В книге уже звучало предостережение от ошибки антропоморфизма: не следует проецировать человеческие качества на возможности сверхразумного агента. Мы повторим свое предупреждение, лишь заменив слово возможность на слово мотивация

.

Прежде чем развивать дальше первый тезис, проведем небольшое предварительное расследование на тему безграничности всего спектра возможных умов. В этом абстрактном, почти космическом, пространстве возможного человеческий разум составляет ничтожно малый кластер. Выберем двух представителей человеческого рода, которые согласно общему мнению являются диаметрально противоположными личностями. Пусть это будут Ханна Арендт и Бенни Хилл[16]. Различие между ними мы, скорее всего, оценим­ как максимальное­. Но сделаем так лишь потому, что наше восприятие целиком регулируется нашим же опытом, который, в свою очередь, полагается на существующие человеческие стереотипы (до известной степени мы находимся под влиянием и вымышленных персонажей, созданных опять-таки человеческой фантазией для удовлетворения все того же человеческого воображения). Однако, изменив масштаб обзора и взглянув на проблему распределения разума сквозь призму безграничного пространства возможного, мы будем вынуждены признать, что эти две личности не более чем виртуальные клоны. Во всяком случае с точки зрения характеристики нервной системы Ханна Арендт и Бенни Хилл фактически идентичны. Предположим, головной мозг и той и другого поместили бы рядом в тиши какого-нибудь музея, — увидев эту экспозицию, мы сразу скажем, что эти двое принадлежали одному и тому же виду. Более того, кто из нас смог бы определить, какой мозг Ханны Арендт, а какой — Бенни Хилла? Если нам удалось бы изучить морфологию и того и другого головного мозга, то мы окончательно убедились бы в их фундаментальном сходстве: одинаковая пластинчатая архитектоника коры; одни и те же отделы мозга; одинаковое строение нервной клетки мозга — нейрона с его нейромедиаторами одной и той же химической природы1.

Вопреки тому, что разум человека практически сопоставим с неразличимой точкой, плавающей в безграничном космосе предполагаемых разум­ных жизней, сложилась тенденция проецировать человеческие свойства на самые разнообразные инопланетные сущности и искусственные разумные системы. Этот мотив великолепно прокомментировал Элиезер Юдковский все в той же работе «Искусственный интеллект как позитивный и негативный фактор глобального риска»:

Во времена расцвета популярной научной фантастики, довольно дешевого свойства, обложки журналов пестрели картинками, на которых очередное инопланетное чудовище — в народе более известное как «пучеглазый монстр» — в очередной раз куда-то тащило очередную красотку в обязательно задранном платье — причем красотка была нашей, земной, женщиной. Похоже, все художники уверовали, что негуманоидные пришельцы с совершенно иной эволюционной историей непременно должны испытывать сексуальное влечение к прекрасным представительницам человеческого рода. <…> Скорее всего, художники, изображавшие все это, даже не задавались вопросом, а будет ли вообще гигантский жук чувствителен к прелестям наших женщин. Ведь по представлениям художников любая полуобнаженная женщина просто по определению сексуально привлекательна, то есть испытывать к ней желание являлось неотъемлемой чертой мужественных представителей человеческого рода. Все художническое внимание было направлено на задранное или порванное платье, меньше всего их заботило, как устроено сознание гигантских насекомообразных. И это составляло главную ошибку художников. Не будь одежды изодраны, — думали они, — женщины выглядели бы не столь соблазнительно для пучеглазых монстров. Жаль только, сами пришельцы так и не взяли этого в толк2.