Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Еще одна слабость эгалитарно-утопического сценария заключается в том, что он может оказаться неустойчивым в долгосрочной перспективе, превращаясь в какой-то другой из описанных нами сценариев, по мере того как неостановимый технический прогресс будет подводить к появлению сверхразума. По каким-то причинам, не объясненным в романе Manna, сверхразума нет, и новые технологии по-прежнему создаются людьми, а не компьютерами. Однако тренд в этом направлении в книге заметен. Например, сверхразумной может стать Вертебрана. Кроме того, есть довольно большая группа людей, которых называют Витами и которые предпочитают жить свою жизнь почти исключительно в виртуальном мире. Вертебрана заботится почти обо всем, что касается их физического состояния: кормит, моет, водит в туалет, но их сознание в блаженном неведении парит в виртуальной реальности. Виты не проявляют никакого интереса к обзаведению детьми, но они умирают со смертью своих физических тел, так что если все станут Витами, то человечеству суждено будет погибнуть в сиянии славы и виртуального блаженства.

В книге объясняется, какой досадной помехой для Витов оказывается их тело и как новая разрабатываемая технология поможет от нее избавиться, и тогда освобожденный от тела мозг, поддерживаемый специальными питательными веществами, позволит им прожить значительно дольше. Отсюда кажется совершенно естественным и желательным для Витов следующий шаг — вообще распрощаться со своим мозгом и целиком залиться в компьютерную память, тем самым еще больше продлив свою жизнь. Но тогда будут сняты все ограничения на развитие разума, налагаемые мозгом, и совершенно непонятно, сможет ли что-нибудь — и если сможет, то что — удержать постепенное расширение когнитивных способностей каждого Вита от рекурсивного самоусовершенствования, от соскальзывания к интеллектуальному взрыву.

Страж

Мы только что могли убедиться, как привлекательная черта эгалитарной утопии, а именно тот самый факт, что люди сохраняли за собой право распоряжаться собственной судьбой, оказывается под угрозой полного разрушения с развитием сверхразума. Но с этой опасностью можно совладать путем создания Стража, то есть сверхразума, который практически не вмешивался бы в жизнь людей, а единственной своей целью имел бы предохранение от создания другого сверхразума[32]. Он позволил бы людям сохранять для себя свою эгалитарную утопию более или менее неограниченное время, возможно даже при распространении жизни в космосе, как будет показано в следующей главе.

Как это может работать? Искусственный интеллект Стража организован таким образом, что сохраняет эту простую цель во время его рекурсивных самоулучшений и превращений в сверхразум. Его способности будут направлены и на то, чтоб отслеживать любые попытки других людей создавать конкурирующий сверхразум. Пресечение таких попыток будет наименее репрессивно. Для начала он будет всячески способствовать распространению культурных мемов, прививающих людям идею, что полагаться исключительно на собственные силы и не прибегать к помощи сверхразума — это добродетель. Если какие-то исследователи все же будут продолжать свои попытки построить его, Страж постарается убедить их в том, что не стоит этого делать. Если и это не поможет, станет отвлекать их на что-то другое и при необходимости саботировать их работу. При его неограниченных технологических возможностях можно сделать так, что его саботаж окажется совершенно незаметным, — например, если благодаря использованию нанотехнологии он будет периодически очищать память и самих исследователей, и их компьютеров, где хранилась информация об уже достигнутых успехах.

Отношение к созданию Стража, вероятно, будет противоречивым. Идею, наверное, поддержат многие религиозные люди, отвергающие существование богоподобного искусственного интеллекта c божественными же функциями, ссылаясь на то, что Бог у людей уже есть и что человеческое достоинство не позволяет им строить себе другого, пусть даже и лучшего. Другие сторонники обретения Стража будут говорить, что с его помощью человечество не только будет сохранять контроль над своей судьбой, но и защитит себя от других рисков, связанных с наличием сверхразума, вроде тех апокалипсических сценариев, которые мы обсудим дальше в этой главе.

С другой стороны, противники такой затеи станут говорить, что Страж ужасен тем, что навсегда дезавуирует технологический прогресс людей, обрекая их на прозябание. Например, если распространение жизни в космосе, как выяснится, требует помощи сверхразума, то Страж навсегда запрет нас внутри Солнечной системы. Вдобавок, в противоположность богам прочих религий, искусственный интеллект Стража совершенно безразличен ко всему, что делают люди, лишь бы только они не пытались построить еще один сверхразум. Он никак не поможет нам избежать новых колоссальных бед или даже самоистребления.

Бог-защитник