Искусственный интеллект

Перед лицом перспективы взрывного развития интеллекта мы похожи на детей, играющих с бомбой. Именно таков разрыв между мощностью нашей игрушки и незрелостью нашего поведения. Сверхразум — это вызов, ответить на который мы не готовы сегодня, и не будем готовы еще долгое время. Мы понятия не имеем, когда произойдет детонация, хотя если поднести устройство к уху, уже можно услышать тихое тиканье.

Ребенку с тикающей бомбой в руках правильнее всего осторожно положить ее на пол, быстро выбежать из комнаты и обратиться к ближайшему взрослому. Впрочем, в нашем случае ребенок не один, нас много, и у каждого в руках свой взрыватель. Шансы на то, что все обладают достаточным здравым смыслом, чтобы аккуратно поместить опасный предмет в безопасное место, ничтожны. Какой-нибудь маленький идиот обязательно нажмет красную кнопку просто из любопытства.

Убежать мы тоже не можем, поскольку взрывное развитие искусственного интеллекта обрушит сам небесный свод. Да и взрослых в поле зрения нет.

В такой ситуации проявлять восторженное любопытство было бы неуместным. Более подходящими чувствами были бы озабоченность и страх, а самое правильное поведение — горькая решимость стать настолько компетентными, насколько это возможно, как при подготовке к экзамену, который или позволит исполнить наши мечты, или разрушит их.

Никто не призывает к фанатизму. Возможно, что до взрыва остается еще много десятков лет. Более того, отчасти вызов, с которым мы столкнулись, состоит в необходимости оставаться людьми — практичными, здравомыслящими, добропорядочными и оптимистичными, — даже оказавшись в когтях этой совершенно неестественной и нечеловеческой проблемы. И чтобы найти ее решение, нам придется использовать всю присущую людям изобретательность.

И все-таки давайте не терять из виду самое главное. Сквозь пелену сиюминутных мелочей уже проступают — пока смутные — контуры главной задачи нашей эпохи. В этой книге мы попытались рассмотреть некоторые ее аспекты и приблизились к пониманию того, что высший этический приоритет (как минимум с объективной и секулярной точки зрения) имеют такие вопросы, как снижение экзистенциального риска и выход на цивилизационную траекторию, которая ведет к лучшему исходу — на благо всего человечества.

Примечания

Введение

1. Должен признать, не все примечания содержат ценную информацию.

2. Вряд ли смогу сказать, что именно изложено корректно.

Глава 1. Прошлые достижения и сегодняшние возможности

1. В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов [Chen, Ravallion 2010]. Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: [Maddison 2010]). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет — огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, — поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет, тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также [Maddison 2005].

2. Резкий рост и значительное ускорение подтверждают предположение о возможном приближении к точке сингулярности; в свое время это предвидели математики Джон фон Нейман и Станислав Улам:

Чаще всего мы вели беседы на такие темы, как ускорение технического прогресса и общие перемены, влияющие на образ жизни человека. Наблюдая стремительные изменения, мы понимали, что исторически вся наша гонка неизбежно приведет человечество к некой неустранимой точке; перейдя ее, люди уже не смогут продолжать ту деятельность, к которой мы все так привыкли [Ulam 1958].

3. См.: [Hanson 2000].

4. См.: [Vinge 1993; Kurzweil 2005].

5. См.: [Sandberg 2010].

6. См.: [Van Zanden 2003; Maddison 1999; Maddison 2001; De Long 1998].

7. Два часто повторяемых в 1960-е гг. оптимистичных утверждения: «Через двадцать лет машины смогут выполнять всю работу, которую делают люди» [Simon 1965, p. 96]; «В течение жизни нашего поколения… задача создания искусственного интеллекта будет в целом решена» [Minsky 1967, p. 2]. Системное исследование прогнозов см.: [Armstrong, Sotala 2012].

8. См., например: [Baum et al. 2011; Armstrong, Sotala 2012].