«Если», 2010 № 06

— Согласен, это безумство. И не будет легко и просто. Но это — открытие века, Уилл. Возможно, рассвет новой эры! — Макс говорил, прослеживая цепочки рассуждений и логических выводов, причин и следствий, как позитивных, так и негативных. Мысленным взором он унесся от Уилла вдаль, к тому, что затмевало все их прежние переживания. — Конечно, риск есть. Мы создаем новую жизнь. Но сотни младенцев рождаются каждый день, многие в ужасных условиях. Некоторые не доживают до своего второго дня рождения. Болезни, голод, отсутствие элементарного обучения, а сколько брошенных детей?! — Макс снова посмотрел на Уилла. — В нашем случае о многих этих проблемах даже думать не придется. Твое создание не ест, не простужается, да и обучил ты его уже по полной интернетовской программе. Все, что нам надо делать для развития этого ИИ, — не отказываться от него.

Уилл смотрел прищурившись, словно Макс был не в фокусе.

Макс осознал странность происходящего. Можно сказать, что Уиллу в большинстве случаев при решении каких-либо задач не приходилось думать — ответ как бы материализовывался перед ним, будто в его круглых очках помещался дисплей некоего мощнейшего вычислителя. Но друзья редко говорили о философии или этике. Видимо, в этой области Уиллу достались какие-то иные (и слегка заторможенные) способности.

Наконец Уилл заговорил:

— Как насчет безопасности? От других людей, я имею в виду.

Теперь уже Макс был обескуражен. Уилл продолжал:

— Что если наш искусственный разум окажется злобным?

Максу пришлось объяснить ему примерно следующее.

Злобный ИИ являлся исходным условием для слишком многих плохих фантастических фильмов и, к сожалению, также и нескольких хороших. Хорошие фильмы были хороши, потому что показывали, сколь вероятным могло оказаться исходное условие.

— Вопрос по существу, — добавил Макс. — Какой самый ужасный кошмар может приключиться?

Уилл задумчиво смотрел на товарища, и тогда Макс выдал сценарий самого тяжелого случая из одного из лучших, с его точки зрения, НФ-фильмов.

— Мог бы он, скажем, взломать систему военных компьютеров и начать последовательно запускать все ядерные ракеты?

Уилл ответил, покусывая ноготь большого пальца:

— Вовсе нет. Симулятор мозга не имеет доступа к низкоуровневым операциям микропроцессора, он может, конечно, выполнять расчеты, но делает это органически, естественно, как мы. Он недостаточно скоростной, чтобы взламывать защитные системы, подбирать пароли и все такое…

— Тогда в чем же опасность? — спросил Макс.

Уилл пожал плечами:

— Думаю, он в безопасности.

Однако казалось, что он не стремится приняться за работу. Макс на секунду задумался и снова натолкнулся на вопрос, который собирался задать раньше:

— Ладно, значит, ты смоделировал человеческий мозг…

Уилл кивнул.

— Почему же он не обрел самосознание просто по своей природе?

Уилл снова занервничал.

— Я отключил несколько физических структур мозга. Те части, которые отвечают за… самосознание.

Следующий вопрос Макса выскользнул, прежде чем он успел закрыть рот:

— А отключение самосознания этично?

И тут же пожалел. Уилл отвернулся и стал энергично мерить шагами комнату, его длинные ноги пересекали небольшое помещение всего за три шага. Теперь Макс болезненно осознал, почему переживал Уилл: он бился над этим вопросом с самого начала. Проблема не давала ему покоя.

И ясно почему. В попытке соблюсти этические нормы Уилл, возможно, нанес больший вред. Смоделировал целый разум просто замечательно, но одна его часть оказалась неправильной, в каком-то смысле увечной. Не напоминает ли это одну из ужасных историй, где ребенка держат в подвале на цепи, никогда не разговаривают с несчастным созданием, лишь кидают ему скудные объедки? Если эти дети не воспротивятся такому положению как можно раньше, то уже не реабилитируются никогда, они безвозвратно потеряны.

Они остаются недочеловеками.

Макс опустил глаза на экран ноутбука, и его пробрала дрожь.

Испытывал ли запрограммированный разум, запертый в лежащей перед ним электронной упаковке, психологическую боль, страдания, которые он даже не может выразить?

Мрачные мысли Макса прервал голос Уилла — он говорил сам с собой, а возможно, с ним или просто вещал в пространство. Его взгляд был напряженно серьезен.

— Не просто. Совсем не просто. Не невозможно, но не просто. — Он снова принялся покусывать ноготь на большом пальце. — Самосознание есть личность. Личность — это история. Нельзя скачать из Сети. Родители. Детство. Родственники. Друзья. Знакомства. Воспоминания. Совсем не просто.

Наконец он остановился и повернулся к Максу с отчаянием в глазах:

— Нужна информация.

Макс нахмурился:

— Какая?..

Уилл снова зашагал туда-сюда и заговорил быстрее, словно не услышав товарища.

— Если мы собираемся дать ему самосознание, нам нужны история, индивидуальность, детство. Нужна информация. Громадные объемы данных.

По всей видимости, размышления закончились.

— Уилл, остановись на секунду. Какая информация? Для чего?