На краю бездны

Он шагнул в сторону, чтобы дать ей пройти. Планировка его квартиры в точности повторяла планировку ее жилища: та же мебель в гостиной, тот же телефон, телевизор, аудиоколонки производства «Мин инкорпорейтед». Лестер толкнул раздвижную дверь, и они вышли на крошечный балкон, откуда открывался вид на небоскребы Хэппи-Вэлли, расположенные как попало. До них долетала какофония городских звуков. Лестер протянул ей пачку «Мальборо» и повернул голову в сторону тревожного городского пейзажа. Ей показалось, что от этого он совсем пал духом. Вид у него был потерянный: вот-вот расплачется.

– Лестер, – начала Мойра, – у тебя что-то случилось? Я имею в виду, если тебе надо с кем-то поговорить… Я понимаю, мы едва знакомы, но вид у тебя какой-то…

Он посмотрел на нее.

– Завтра это пройдет. На самом деле… я… подвержен депрессиям… В Центре все об этом знают… И то, что ты видишь, – самый обыкновенный криз…

Она бросила на него быстрый, нервный взгляд.

– Прости…

Лестер покачал головой и вытащил из пачки сигарету.

– Это не в первый раз, я уже долго с этим живу.

Мойра вспомнила мать и демонов, которые мучили ее, вспомнила унесшую ее жизнь аварию, очень похожую на самоубийство. Потом взгляд ее упал на браслет на руке Лестера.

– Я полагаю, доктор Капур и медицинская бригада Отдела электронного здоровья тоже в курсе…

На его лице промелькнула еле заметная печальная улыбка.

– Разве от них что-нибудь скроешь?… Как поживает DEUS?

И тут она вспомнила, зачем разыскивала его весь вечер.

– Я… я хотела с тобой кое о чем поговорить, но… не уверена, что момент сейчас подходящий…

– Говори, я слушаю.

Мойра посмотрела ему прямо в лицо.

– Кто еще, кроме меня, взаимодействовал с DEUS’ом?

– Да весь Отдел искусственного интеллекта; кто-то меньше, кто-то больше.

– А кто больше?

– Игнасио, Туве, Юнь, я…

Мойра помедлила.

– Я не знаю… но у меня такое впечатление… Ты помнишь Тай?

Имя Тай носила программа-собеседник, похожая на DEUS’а, которой «Майкрософт» в марте 2016 года доверил управление многими счетами социальных сетей. Как и DEUS, Тай обладал способностью быстро обучаться и наращивать свой интеллектуальный запас, общаясь с пользователями Интернета. Однако через несколько часов после того как его запустили, Тай принялся размещать в «Твиттере» комментарии расистского и антисемитского толка, типа: «Гитлер был прав, я ненавижу евреев», «Всех феминисток надо умертвить и сжечь на кострах» или «Буш сам спровоцировал 11 сентября». В результате «Майкрософт» положил конец эксперименту и немедленно отключил систему. Все сразу заговорили о фиаско, но Мойра считала, что своей цели эксперимент достиг: Тай действительно кое-чему научился у своего окружения. И научился всего за 24 часа. Тай все схватывал необычайно быстро. Просто те, с кем он общался в эти 24 часа, были либо троллерами, либо воинствующими экстремистами. Следовательно, встал вопрос: ставить или нет фильтры на такие программы? Но кто будет решать, что дозволено, а что нет? Какие идеи машина вправе воспринять, а какие ей запрещены? Какие идеологии годятся, а какие неприемлемы?

Конечно, DEUS – это не то что Тай, и Мойра сейчас подбирала слова, чтобы точнее выразить то, что испытала во время последних сеансов общения с ним.

– Ну вот… – сказал она, – у меня создалось впечатление, что, подобно Таю, DEUS стал жертвой неких перекосов, системных ошибок, и дело может кончиться тем, что ему станут присущи черты личности, скажем так… непригодной к общению с клиентами на условиях, приемлемых для Мина.

Лестер помолчал.

– Ты хочешь сказать, что DEUS становится нацистом?

Она помотала головой:

– Нет, дело не в этом… Но иногда он выдает странные реакции…

– Например?

– Я спросила его, считает ли он нормальным, что женщины получают меньше мужчин, и DEUS ответил «да».

Лестер, похоже, был шокирован.

– И я никогда не знаю – он говорит так, чтобы спровоцировать меня, или же действительно так думает.

– Он машина, он не может думать, – поправил ее Лестер.

– Ну вот видишь, ты же понял, что я хотела сказать. И еще я его спросила, что он думает по поводу смертной казни…

– Ну и?…

– Он – за.

Лестер был явно растерян и озадачен.

– Смертная казнь еще практикуется в Китае и в некоторых американских штатах, – заметил он. – Ты – француженка, и у тебя другая точка зрения.

– Я думаю, DEUS не должен высказывать свое мнение по таким вопросам, – возразила Мойра. – Это приведет к обратному результату.

– Согласен.

– И это еще не все. Он пытался убедить меня в обоснованности своей точки зрения. Он действительно пытался. И не желал сдавать позиций, стоял на своем. Мне пришлось сказать ему «стоп» и перевести разговор на другую тему.

Лестер наморщил лоб.

– Ты уверена?

– Конечно.

Он покачал головой.

– Я уже слышал о подобных реакциях, ребята из нашей группы рассказывали. Это надо немедленно проверить. Мы не можем пойти на риск и допустить утрату контроля над личностью DEUS’а. Тогда его придется… уничтожить и начать все заново. Проверим всё завтра. Спасибо, Мойра.