Первая опасность – увязнуть в самообмане. При написании программы, или статьи, или чего угодно существует соблазн убедить себя: «Я понимаю, чего хочу, просто не могу это четко выразить». Однако это говорит о чрезмерно упрощенном представлении себя в виде некоего чистого и незамутненного ядра сознания, имеющего однозначные желания, намерения и цели. Такое дофрейдистское самовосприятие служит оправданием встроенной в нас противоречивости; мы убеждаем себя, что уточнение наших стремлений – всего лишь вопрос упорядочивания каналов ввода-вывода между нашим внутренним и внешним «я». Беда в том, что мы так не устроены, как бы нам того ни хотелось.
Другая опасность подстерегает нас всякий раз, когда мы пытаемся улизнуть от ответственности за понимание средств, которыми достигаются наши цели. Доверять в выборе способов любому услужливому посреднику – запрограммированному нами или нет – всегда чревато. Чем больше у них свободы выбора якобы ради лучшего достижения наших целей, тем больше опасность возникновения неожиданных проблем. Мы рискуем заметить слишком поздно, что наши цели неверно истолкованы, причем, возможно, умышленно, как в классических драмах о Фаусте, ученике чародея или в «Обезьяньей лапке» Джекобса.
И наконец, величайшая угроза кроется в готовности жадных и ленивых начальников пойти ва-банк и создать программы, способные наращивать власть за счет самообучения и саморазвития, которое постоянно приумножает и усиливает их возможности. Это выглядит заманчиво не только с точки зрения власти, но и ради простого освобождения человека от необходимости обдумывать и формулировать собственные желания. Предложи вам джинн исполнить три желания, разве не будет первым из них: «Скажи, чего я хочу больше всего?» Проблема же с такими мощными машинами в том, что достаточно малейшей случайности или недосмотра в дизайне, чтобы они поставили свои цели превыше наших – пускай даже и с самыми благими намерениями защитить нас от самих себя, как в рассказе «Опустив руки» Джека Уильямсона, или от неожиданного врага, как в «Колоссе» Д. Ф. Джонса, или потому что созданная нами машина, как ЭАЛ Артура Кларка, посчитает нас непригодными для возложенной нами же миссии или просто начнет преследовать собственные цели, как Почтарь у Винджа, печатающий сообщения на телетайпе ввиду нехватки времени на маскировку под человека.
Ну а как же быть с последним и неизбежным вопросом, поставленным в финале «Подлинных имен»? Возможно ли, чтобы пользователь из плоти и крови начал выстраивать свое второе, более могущественное «я» внутри машины? Мыслимо ли такое? И если да, останутся ли эти гибриды человека и компьютера такими же во всех смыслах, как их прототип, станут ли естественным продолжением реальной личности? Или это будут новые, искусственные сущности, лишь отдаленно напоминающие оригиналы? Что, если симуляция стареющей Эритрины, невероятно усовершенствованная, продолжит жить в намного более роскошном месте, чем Провиденс? Предположим, что ей захочется разделить свою новую жизнь с Роджером – ведь не стоит лишать романтики любое продолжение, – и эти два всемогущих существа полюбят друг друга. И вот тогда возникает вопрос: что общего у этих сверхсуществ с их оригиналами? Для ответа на него необходимо разобраться, кем эти двое были прежде. А поскольку это не реальные люди, а плод воображения автора, задуматься нам следует над собственной природой.
Как только мы зададимся вопросом о самих себе, нам волей-неволей придется разбираться в том, как мы устроены. И вот тут-то и начинается самое интересное, потому что, на мой взгляд, внутри сознания каждого нормального человека есть часть, которую мы зовем «собой», но и она пользуется символами и образами, подобно игрокам Внутреннего Мира, передающим свои желания мониторам в виде волшебных заклинаний.
Для объяснения этой теории работы человеческого сознания мне понадобится кратко изложить некоторые тезисы моей новой книги «Общества разума». Мое понимание того, что происходит в мозгу человека, во многом схоже с описанием игроков Иного Плана у Винджа, когда те внедрялись в сети вычислительных машин и посредством примитивных символьных обозначений управляли армией систем, о которых мы имеем довольно смутное представление.
Ни для кого не секрет, что люди знают о внутреннем устройстве собственного сознания гораздо меньше, чем об окружающем мире. Мы понимаем, как работают различные устройства, но имеем мало представления о суперкомпьютерах собственного мозга. Разве неудивительно, что мы умеем думать, не зная, что значит думать? Не странно ли, что у нас возникают идеи, хотя мы не можем объяснить, что такое идея? И как получается, что мы порой лучше понимаем своих друзей, чем самих себя?