Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Зачем искусственному интеллекту может понадобиться такой зоопарк? Расходы на него в общей смете для искусственного интеллекта будут минимальны, и его резоны сохранить минимальную способную к размножению популяцию людей могут быть довольно близки к тем, которые заставляют нас держать в зоопарках находящихся под угрозой вымирания панд или в музеях вычислительной техники старые винтажные компьютеры — развлечься, рассматривая всякие диковины. Обратите внимание, что современные зоопарки проектируются так, чтобы развлечь посетителей, а вовсе не так, чтобы осчастливить панд. Так что ожидать в сценарии зоопарка возможностей для полной реализации человеческого потенциала не приходится.

Мы сейчас рассмотрели сценарии, где свободный сверхразум сосредоточен на трех различных уровнях пирамиды Маслова. В то время как бог-защитник устанавливает приоритеты на смыслы и цели, а благодетельный диктатор заботится об образовании и развлечениях, в сценарии зоопарка искусственный интеллект ограничивает свое внимание нижним уровнем: физиологические потребности, безопасность и минимальное жизненное пространство, какое только может сделать людей интересными для наблюдений.

В альтернативном варианте сценария зоопарка предполагается, что искусственный интеллект сохранит в процессе рекурсивных самоулучшений то, что было заложено в него, когда он разрабатывался как дружественный, и поэтому он должен обеспечить счастливую и безопасную жизнь миллиарду людей. Это оказывается возможным благодаря огромным человеческим фабрикам счастья, где их содержат накормленными, здоровыми, веселыми, развлекая их смесью виртуальной реальности и легких галлюциногенов. Остальная часть Земли и выход в космос для них закрыты.

1984

Если ни один из перечисленных сценариев не вызывает у вас 100-процентного энтузиазма, то подумайте вот о чем: в технологическом отношении прямо сейчас разве уже не все хорошо? Разве мы не можем сохранить все как есть и перестать беспокоиться, что какой-то AI нас истребит или станет нами править? Давайте рассмотрим такой сценарий, в котором технологический прогресс в направлении сверхразумного искусственного интеллекта все время обрубается, но не сверхумным стражем, а руководимым людьми оруэлловским государством всеобщей слежки, в котором определенные виды разработок искусственного интеллекта запрещены.

Технологический отказ

У идеи, что технологический прогресс должен быть остановлен и что человечеству надо отказаться от дальнейшего движения по этому пути, долгая и противоречивая история, полная своих взлетов и падений. Движение луддитов знаменито своим бурным (и безуспешным) сопротивлением наступлению машин в эпоху индустриальной революции. Сегодня слово «луддиты» носит презрительный оттенок: так называют людей, выбравших неправильную историческую позицию, — они сопротивляются прогрессу и неотвратимым переменам. Однако идея отказа от некоторых технологий вовсе не мертва: она находит все новых и новых сторонников среди «зеленых» и антиглобалистов. Один из самых ярких выразителей таких взглядов — известный защитник природы Билл Мак-Киббен, оказавшийся в числе тех, кто первым заговорил об опасности глобального потепления. В отличие от анти-луддитов, утверждающих, что всякая технология должна развиваться и разворачиваться до тех пор, пока она приносит прибыль, сторонники более умеренных взглядов полагают такую позицию неоправданно экстремальной. Они считают, что технологию следует развивать только в том случае, если есть полная уверенность, что она принесет больше пользы, чем вреда. У этой точки зрения тоже немало сторонников, в том числе среди тех, кого называют «нео-луддитами».

Тоталитаризм 2.0

Я думаю, что единственным практически осуществимым способом достичь сколько-нибудь последовательного технологического отказа может стать только переход к глобальному тоталитарному государству. К такому же выводу приходит и Рэй Курцвейл в его The Singularity Is Near и К. Эрик Дрекслер в Engines of Creation. Причина сугубо экономическая: если от какой-то трансформативной технологии отказываются не все, а только некоторые, то противники отказа получают дополнительное богатство и власть, благодаря чему в конце концов побеждают. Классический пример — поражение, нанесенное Британией Китаю в Первой опиумной войне 1839 года: хотя китайцы изобрели порох, они разрабатывали огнестрельное оружие совсем не так агрессивно, как европейцы, и в результате остались без шансов.