Искусственный интеллект

13. В среднем в мире минимальный коэффициент фертильности для замещения в 2013 году равнялся 2,33 ребенка на одну женщину. Это число учитывает факт, что два ребенка нужно для того, чтобы заменить родителей, плюс еще «треть» для компенсации: 1) более высокая вероятность рождения мальчиков; 2) ранняя смерть до достижения фертильного возраста; для развитых стран этот показатель ниже, около 2,1 ребенка, из-за более низкой смертности; см.: [Espenshade et al. 2003, Introduction, table 1, p. 580]. Не будь иммиграции, численность населения большинства развитых стран снижалась бы. Приведу несколько примеров стран с фертильностью, недотягивающей до уровня замещения: Сингапур — 0,79 (самая низкая в мире), Япония — 1,39, Китай — 1,55, ЕС — 1,58, Россия — 1,61, Бразилия — 1,81, Иран — 1,86, Великобритания — 1,90. Даже население США медленно уменьшалось бы с их коэффициентом фертильности 2,05; см.: [CIA, 2013].

14. Этот час может пробить лишь через миллиарды лет.

15. Карл Шульман отмечает, что если люди рассчитывают сохранить свой образ жизни в условиях цифровой экономики, им нужно добиться, чтобы политическое устройство цифрового мира обеспечивало бы защиту их интересов на протяжении очень долгого времени [Shulman 2012]. Например, если события в цифровом мире разворачиваются в тысячу раз быстрее, чем вне его, то человеку придется полагаться на политическую стабильность в нем на протяжении 50 000 лет постоянных внутренних изменений. Но если цифровой политический мир будет хоть в чем-то похож на наш, за эти тысячи лет в нем произойдет огромное количество революций­, войн и бунтов, способных сделать жизнь обычных людей «снаружи» невыносимой. Даже при минимальных шансах (не превышающих 0,01% за год) начала мировой ядерной войны или подобного ей катаклизма возможна практически неизбежная гибель людей, живущих в гораздо более медленном времени, чем их цифровые имитации. Чтобы устранить эту проблему, может потребоваться более стабильный порядок в цифровой реальности, например правление синглтона, постепенно приобретающего всю большую стабильность.

16. Даже при условии, что машины будут намного эффективнее людей, все-таки может сохраниться некоторый уровень зарплат, при котором окажется выгоднее нанимать работников-людей, скажем, за один цент в час. Но если для самих людей это обернется единственным источником дохода, наш род просто вымрет, потому что не сможет прокормить себя на такие суммы. Конечно, у людей останется еще доход на капитал. Если теперь предположить, что население будет расти до тех пор, пока доход на душу населения не дойдет до уровня прожиточного минимума, может показаться, что после этого люди станут работать усерднее. Допустим, прожиточный минимум равен одному доллару в день на человека. Тогда получается, что население будет расти до тех пор, пока он не снизится до девяноста центов, и людям придется работать на десять часов больше, чтобы получить эти недостающие десять центов. Однако это не обязательно так, поскольку прожиточный минимум зависит от количества выполненной работы — люди, занимающиеся трудом, сжигают больше калорий. Представим себе, что каждый час работы увеличивает издержки на питание на два цента. И теперь можно получить модель, в которой человечество находится в равновесии.

17. Может показаться, что такая ситуация невозможна, поскольку «организм, находящийся в подобном овощном состоянии» не сможет голосовать и защищать свои права. Но он может оставить доверенность ИИ на управление делами и защиту его политических интересов. (Все наши предположения исходят из того, что права собственности будут уважаться.)

18. Не очень понятно, какой термин выбрать: слово убивать звучит более жестоко, чем это может оказаться на самом деле; слово отключать звучит, может быть, более приемлемо, но для нашего случая оно слишком упрощает ситуацию. А сложность в том, что фактически речь идет о двух отдельных процедурах: остановке активной деятельности и удалении информационных шаблонов. Смерть человека обычно предполагает одновременно и то и другое, но в случае с эмуляторами эти процедуры могут быть разделены во времени. Мы могли бы сравнить временную остановку программы с обычным человеческим сном, а постоянную остановку — с комой. Еще сильнее усложняет ситуацию возможность копирования эмуляторов и запуск их с различными скоростями — это вообще не имеет прямых аналогий с человеческой жизнью. См.: [Bostrom 2006 b; Bostrom, Yudkowsky 2014].

19. Придется искать компромисс между общей мощностью параллельных вычислений и их скоростью, поскольку высочайшая скорость вычислений достижима только за счет снижения их эффективности. Это будет особенно верно с началом эры обратимых вычислений.