Миллениум. Тетралогия. (ЛП)

– Исследования в этой области чрезвычайно обширны, и хотя большинство прямо не говорит о стремлении достичь AGI, конкуренция нас к этому подталкивает. Никто не может позволить себе не создавать максимально умные прикладные программы или сдерживать развитие этой области. Подумайте только, что нами уже создано на данный момент. Подумайте, например, о том, что имелось в вашем телефоне пять лет назад – и что имеется сегодня.

– Да.

– Раньше, до того, как он стал так скрытен, Франс прикидывал, что мы сможем достичь AGI в ближайшие тридцать-сорок лет, и это звучит глобально. Но лично я думаю, не проявлял ли он излишнюю осторожность. Мощность компьютеров удваивается каждые восемнадцать месяцев, и нашему мозгу не уловить, что означает такое экспоненциальное развитие. Знаете, это немного напоминает зернышко риса на шахматной доске. Вы кладете одно зернышко на первую клеточку, два – на вторую, четыре – на третью, восемь – на четвертую…

– И вскоре зернышки риса заполоняют весь мир.

– Темпы прироста только увеличиваются и в конце концов выходят из-под нашего контроля. Самое интересное, однако, не когда мы достигнем AGI, а что произойдет потом. Тут существует много сценариев, в зависимости от того, каким путем мы туда доберемся. Но мы точно будем пользоваться программами, которые обновляют и улучшают нас самих, и при этом нельзя забывать, что у нас появится новое представление о времени.

– Что вы имеете в виду?

– Что мы выйдем за человеческие ограничения. Нас забросит в новый порядок, где механизмы обновляют себя круглые сутки. Всего через несколько дней после достижения AGI мы получим ASI.

– А это что такое?

– Artificial Superintelligence [47], нечто более интеллектуальное, чем мы. Дальше все пойдет быстрее и быстрее. Компьютеры начнут улучшаться в нарастающем темпе, возможно, с коэффициентом десять, – и станут в сто, в тысячу, в десять тысяч раз умнее нас; и что случится тогда?

– Скажите.

– Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.

– В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, – вставил Микаэль, подумав о том, что написал Лисбет.

– В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?

– Я пытаюсь, – осторожно улыбаясь, ответил Микаэль.

– Я хочу сказать вот что, – продолжала Фарах Шариф. – Как, по-вашему, почувствует себя компьютер, очнувшись и обнаружив, что он взят в плен и контролируется такими примитивными тварями, как мы? Почему он должен терпеть такую ситуацию? Зачем ему вообще проявлять к нам повышенное уважение или, тем более, позволять нам копаться в его внутренностях, чтобы остановить процесс? Мы рискуем оказаться перед интеллектуальным взрывом, технологической сингулярностью, как назвал это Вернор Виндж[48]. Все, что произойдет после этого, находится за пределами нашего горизонта событий.

– Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?

– Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.

– Вы шутите?

– Я знаю, что для не посвященного в данную проблематику человека это звучит идиотизмом. Но вопрос этот в высшей степени реален. Сегодня тысячи людей по всему миру работают над тем, чтобы воспрепятствовать подобному развитию. Многие проявляют оптимизм или даже впадают в утопию. Говорят о friendly ASI , о дружелюбных суперинтеллектах, которые с самого начала программируются так, что будут нам помогать. Представляют себе нечто в духе описанного Азимовым в книге «Я, Робот», встроенные законы, запрещающие механизмам причинять нам вред. Изобретатель и писатель Рэй Курцвейл[49] видит перед собой чудесный мир, где мы с помощью нанотехнологий объединимся с компьютерами в единое целое и разделим с ними будущее. Но, разумеется, никаких гарантий этого нет. Законы могут прекращать свое действие. Значение изначального программирования может меняться – и невероятно легко совершить антропоморфические ошибки, приписать машинам человеческие черты и неверно истолковать их внутренние движущие силы. Франс был одержим этими вопросами и, как я сказала, раздираем противоречиями. Он мечтал об интеллектуальных компьютерах – и в то же время волновался из-за них.

– Он не мог прекратить строить своих монстров…

– Приблизительно так, выражаясь рационально.

– Как далеко он продвинулся?