Искусственный интеллект

22. Возможно провести более подробный анализ и внимательно изучить, какие типы вычислений нас интересуют. Количество возможных последовательных вычислений довольно ограниченно, поскольку быстрый последовательный компьютер должен быть небольшого размера, чтобы минимизировать задержки в передаче данных между различными его частями. Есть также ограничение на количество бит, которые можно хранить, и, как мы видели, на количество необратимых вычислительных операций (включая стирание информации), которые можно выполнить.

23. См., например: [Huffman, Pless 2003; Knill et al. 2000; Drexler 1986].

24. Иначе говоря, дистанция будет небольшой при каком-то «естественном» показателе, например логарифме численности населения, которому можно обеспечить прожиточный минимум, если на то направить все имеющиеся ресурсы.

25. Мы исходим из предположения, что внеземных цивилизаций, которые могут встать у него на пути, просто не существует. А также из ложности гипотезы симуляции, см.: [Bostrom 2003 a]. Если какое-то из этих предположения неверно, могут возникнуть серьезные катаклизмы неантропогенного характера — то есть те, которые вызваны агентами, отличными от людей; см.: [Bostrom 2003 b; 2009 c].

26. Например, благоразумный синглтон, осознав идею эволюции, мог бы предпринять попытки постепенно повысить уровень своего коллективного интеллекта, используя для этого евгенические программы.

27. См.: [Tetlock, Belkin 1996].

28. Уточним, что колонизация, а также реинжиниринг заметной и доступной части Вселенной, то есть ее фундаментальное переосмысление и радикальное перепроектирование, в настоящее время не является достижимой задачей. Межгалактические путешествия лежат за пределами возможностей современных технологий. Речь идет о том, что мы, в принципе, способны использовать имеющиеся у нас уже сейчас ресурсы для создания дополнительных возможностей, тем самым обеспечив косвенную достижимость этой цели. Безусловная правда, что человечество пока не является синглтоном и что нет уверенности в отсутствии некой разумной силы, с противодействием которой мы столкнемся в процессе реинжиниринга Вселенной. Однако чтобы преодолеть порог устойчивости благоразумного синглтона, достаточно обладать такими возможностями, которые сделали бы достижимой задачу колонизации и реинжиниринга Вселенной благоразумным синглтоном, не встречающим противодействия другой разумной силы.

29. Иногда полезно говорить о двух ИИ, обладающих равной сверхмощью. В более широком смысле слова можно было бы считать, что сверхмощь в какой-то области предполагает сравнение возможностей действующей силы и человеческой цивилизации, но за исключением другого ИИ.

Глава 7. Намерения сверхразума

1. Конечно, все сказанное не исключает, что могут быть различия — довольно незначительные под микроскопом, но имеющие большое значение с функциональной точки зрения.

2. См.: [Yudkowsky 2008 a, p. 310].

3. Дэвид Юм, шотландский философ эпохи Просвещения, считал, что одной убежденности (например, в том, как правильно поступать) недостаточно для мотивации поступка — требуется еще желание. Казалось бы, это только снимает одно возражение, которое возможно выдвинуть против нашего тезиса: достаточно развитый интеллект непременно обретет определенные убеждения, что обязательно приведет к появлению определенных мотиваций. Однако, несмотря на то что тезис об ортогональности внешне подкрепляется юмовской мотивационной концепцией, он не предполагает ее в качестве необходимого условия. В частности, трудно отрицать, что иногда лишь голые убеждения служат вполне убедительной мотивацией какого-либо действия. Почему бы не предположить, например, что агент, обладающий высоким интеллектом, может быть настроен на любой план действий, если на то у него имеются довольно сильные желания. Второй случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если формирование подобных убеждений у обладающего произвольно высоким интеллектом агента само по себе не мотивирует его на соответствующие поступки. Третий случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если возможно создать агента (или проще: запустить «процесс оптимизации») с произвольно высоким интеллектом, но с настолько чужеродным устройством, что у него вообще не будет прямых функциональных аналогов таким человеческим понятиям, как «убеждение» и «желание». (Недавние попытки защитить концепцию Юма можно найти в работах: [Smith 1987; Lewis 1988; Sinhababu 2009].)