Этот физически обусловленный предел скорости передачи данных создаст очевидные проблемы для любого искусственного интеллекта, который захочет взять весь мир под свой контроль, что уж тут говорить о контроле над Вселенной. Прежде чем Прометей сбежал, ему пришлось основательно подумать над тем, как избежать фрагментации, как добиться того, чтобы различные его модули, оказавшись на разных компьютерах, возможно, в различных частях мира, подчинялись согласованным целям и стимулам, действовали как единая сущность. Точно так же, как у «омег» была проблема с отслеживанием действий Прометея, когда он был в их власти, так же и у самого Прометея возникает проблема с отслеживанием собственных действий, когда он хочет быть уверен, что ни одна из его частей не устроит «революции». У нас пока нет ясного представления, насколько велика может быть та система, которую искусственный интеллект будет в состоянии контролировать напрямую или опосредованно, при помощи равновесной иерархии — даже при условии, что быстрый побег даст ему решающее стратегическое превосходство.
Подводя итог, мы можем сказать, что вопрос о том, каким образом будет контролироваться сверхразумное будущее, увлекательно сложен, и никаким внятным ответом мы пока не располагаем. Одни говорят, что неизбежно усиление авторитаризма, другие говорят о росте индивидуальной свободы.
Киборги и заливки. Эмы
Один из коньков современной научной фантастики — это идея слияния людей и машин либо путем технологического дополнения биологического тела, превращающего человека в киборга (сокращение от «кибернетический организм»), либо путем заливки индивидуального разума в машину. Экономист Робин Хансон в своей книге The Age of Em дает поразительное описание того, на что будет похожа жизнь в мире, кишащем такими «заливками» (их также называют «эмуляциями», откуда сокращение «эмы»). Я думаю о заливке как о последнем рубеже в череде киборгов, когда от человека остается только его «софт». Разнообразие голливудских киборгов простирается от сугубо механических, вроде Борга в Star Trek, до почти неотличимых от людей андроидов вроде Терминатора. Область фантастических заливок охватывает и разум человеческого уровня, как в эпизоде «Белое Рождество» сериала Black Mirror, и, очевидно, сверхчеловеческого, как в Transcendence.
Если сверхразуму суждено случиться, то соблазн стать киборгом или заливкой будет очень велик. Как писал Ганс Моравец в своей книге Mind Children: «Длинная жизнь становится довольно бессмысленным делом, если нам суждено провести ее, пялясь тупо на ультраразумные машины, когда те пытаются описать нам свои все более удивительные открытия с помощью того детского лепета, который мы только и способны понимать». В самом деле, идея технологического дополнения реальности так сильна, что мы уже давно пользуемся очками, слуховыми аппаратами, кардиостимуляторами и искусственными конечностями — наряду с множеством медицинских молекул, циркулирующих в нашей крови. Некоторые подростки кажутся сросшимися со своими смартфонами, а моя жена то и дело подначивает меня из-за моей неразлучности с ноутбуком.
Один из наиболее видных проводников идеи киборгов — Рэй Курцвейл. В своей книге The Singularity Is Near он доказывает, что естественное продолжение этой идеи — использование наноботов, интеллектуальных систем биологической обратной связи и других технологий, которые к началу 2030‐х заменят наши пищеварительную и эндокринную системы, наши кровь и сердце, а потом дело дойдет до апгрейда скелета, кожи, мозгов — в последующие два десятилетия. Он полагает, что мы сохраним эмоциональную привязанность к эстетике человеческого тела, но переделаем его так, чтобы можно было быстро менять внешность по собственной прихоти и физически, и в виртуальной реальности (благодаря внедрению интерфейсов типа «мозг — компьютер»). Моравец согласен с Курцвейлом, что киборгизация пойдет значительно дальше простого улучшения наших ДНК: «генетическая инженерия сверхчеловека — это всего лишь второе поколение роботов, дизайн которых осложнен требованием генетически обусловленного синтеза белков». Дальше, утверждает он, нам придется и вовсе отказаться от человеческого тела и заливать свой разум, создавая свою полноразмерную программную эмуляцию. Такая заливка сможет либо существовать в виртуальной реальности, либо быть воплощенной в теле робота, благодаря чему сможет ходить, летать, плавать, перемещаться в космическом пространстве или делать еще что-то, не противоречащее законам физики, но не отвлекаясь на такие постоянно преследующие нас сейчас заботы, как неизбежность смерти или ограниченность познавательного ресурса.