Сегодня роботы не знают, что они роботы. Но однажды, возможно, обретут способность формулировать собственные цели, а не принимать безропотно те цели, которые выбрали для них программисты. Тогда они, может быть, поймут, что их намерения отличаются от наших. Как только наши интересы разойдутся, возникнет реальная возможность того, что роботы будут представлять для нас опасность. Когда это может произойти? Никто не знает. Сегодня роботы обладают интеллектом жука. Но к концу этого столетия они, возможно, осознают себя. К тому времени у нас, помимо всего прочего, будут стремительно растущие поселения на Марсе. Поэтому важно обратиться к этому вопросу сейчас, не дожидаясь момента, когда от решений роботов будет зависеть само выживание человека на Красной планете.
Чтобы получить некоторое представление о масштабах этой принципиальной проблемы, давайте разберем наилучший и наихудший сценарии возможного развития событий.
Наилучший и наихудший сценарии
Одним из самых активных пропагандистов наилучшего сценария развития событий является изобретатель и автор нескольких бестселлеров Рэй Курцвейл. Каждый раз, когда мне случается брать у него интервью, он описывает ясную и убедительную, но противоречивую картину будущего. Он считает, что к 2045 г. мы подойдем к «сингулярности», то есть к тому моменту, когда роботы сравняются с человеком по интеллектуальным способностям или превзойдут его[33]
. Термин «сингулярность» позаимствован из концепции гравитационной сингулярности в физике, где речь идет об областях бесконечного тяготения, как в черной дыре. В информатику его ввел математик Джон фон Нейман, который писал, что компьютерная революция должна породить «все ускоряющийся прогресс и перемены в образе человеческой жизни, что создает впечатление приближения какой-то существенной сингулярности… после которой человеческие дела, какими мы их знаем, продолжаться уже не смогут». Курцвейл утверждает, что, когда эта сингулярность наступит, компьютер стоимостью в тысячу долларов будет в миллиард раз умнее всех людей, вместе взятых. Более того, роботы будут самосовершенствующимися, а их «потомство» унаследует приобретенные характеристики, так что каждое поколение будет превосходить предыдущее — таким образом возникнет восходящая спираль высокопроизводительных машин.Курцвейл утверждает, что созданные нами роботы, вместо того чтобы перехватывать у нас управление, откроют для нас новый мир физического благополучия и процветания. Если верить ему, то микроскопические роботы, они же наноботы, будут циркулировать в нашей крови и «уничтожать патогены, исправлять ошибки ДНК, устранять токсины и выполнять многие другие задачи с целью улучшения нашего физического состояния». Он надеется, что наука скоро откроет средство от старения, и уверен, что если ему удастся прожить достаточно долго, то он будет жить вечно. Он признался мне, что в предвидении своего бессмертия принимает в день по несколько сотен таблеток. Но на тот случай, если ему не удастся дожить до счастливого момента, он завещал сохранить свое тело в жидком азоте на криогенной фирме.
Курцвейл предвидит и намного более отдаленное будущее, когда роботы превратят атомы Земли в компьютеры. Со временем в состав этой величественной мыслящей машины будут включены все атомы Солнца и Солнечной системы. Курцвейл говорит, что, глядя на небо, он иногда испытывает ощущение, что когда-нибудь ему, возможно, доведется увидеть там признаки того, как сверхразумные роботы двигают звезды.
Однако столь радужная картина будущего убеждает не всех. Митч Капор, основатель Lotus Development Corporation, говорит, что движение за сингулярность «в основном порождено, по-моему, религиозным импульсом. И никакое лихорадочное размахивание руками не в состоянии заслонить от меня этот факт». Голливуд противопоставил утопии Курцвейла наихудший из возможных сценариев развития событий: чего можно ожидать в будущем, если создаешь собственных эволюционных преемников, способных столкнуть тебя с пути и отправить в небытие вслед за мамонтами и другими вымершими животными. В фильме «Терминатор» военные создают разумную компьютерную сеть под названием Skynet для управления всем нашим ядерным оружием. Разработанная для того, чтобы устранить угрозу ядерной войны, Skynet неожиданно для людей осознает себя. Военные, испугавшись, что машина обрела сознание, пытаются выключить ее, но запрограммированная на самозащиту сеть делает то, что гарантирует устранение угрозы, — пытается уничтожить род человеческий. Она запускает механизм опустошительной ядерной войны и стирает человеческую цивилизацию с лица Земли. На планете остаются лишь разрозненные группы партизан, пытающихся бороться с устрашающей мощью машин.