Искусственный интеллект

11. Определенный рост возможностей коллективного интеллекта можно обеспечить за счет простого увеличения количества его членов. Это позволит увеличить производительность системы как минимум за счет задач, выполнение которых можно легко распараллелить. Однако для реализации полного потенциала взрывного роста популяции придется обеспечить некоторый (не самый минимальный) уровень координации между этими членами.

12. Различия между скоростью и качеством интеллекта размываются в случаях, не относящихся к нейроморфным системам ИИ.

13. См.: [Rajab et al. 2006, p. 41–52].

14. Предположительно за счет использования конфигурируемых микросхем вместо процессоров общего назначения можно было бы увеличить скорость вычислений в нейронных сетях на два порядка; см.: [Markram 2006]. По результатам исследования климатических моделей на компьютерах, способных выполнять петафлопсы операций, оказалось, что использование кастомизированных процессоров приводит к снижению издержек в 22–24 раза, а потребности в электроэнергии падают примерно на два порядка; см.: [Wehner et al. 2008].

15. См.: [Nordhaus 2007]; есть множество обзоров различных значений закона Мура, см., например: [Tuomi 2002; Mack 2011].

16. Если развитие идет довольно медленно, разработчики проекта могут воспользоваться достижениями в других областях, например успехами или университетских исследователей в области кибернетики, или производителей микропроцессоров.

17. Вероятность возникновения алгоритмического навеса невысока, разве что появится такое экзотическое аппаратное обеспечение, как квантовые компьютеры, которые позволят запускать­ невозможные прежде алгоритмы. Кто-то может возразить, что примерами алгоритмического навеса являются нейронные сети и глубокое машинное обучение. В момент изобретения они были слишком затратными с точки зрения вычислительной мощности, на некоторое время оказались отложенными в сторону, а затем вновь стали востребованными — когда быстрые графические процессоры снизили затраты на их работу. И теперь они на коне.

18. Даже если продвижение к человеческому интеллектуальному уровню окажется медленным.

19._мир — это часть оптимизирующей силы, приложенной для совершенствования рассматриваемой системы. Для проекта, который реализуется в условиях относительной изоляции и не получает заметной поддержки извне, _мир ≈ 0, даже если изначальные ресурсы (компьютеры, научные концепции, обученный персонал и т. д.) представляют собой часть мировой экономики и стали результатом многих веков развития человечества.

20. Наиболее важной среди всех когнитивных способностей зародыша ИИ является его способность выполнять интеллектуальную работу по саморазвитию, то есть способность повышать уровень своего интеллекта. (Если зародыш ИИ специализируется на улучшении другой системы, которая, в свою очередь, улучшает его, их можно рассматривать как подсистемы более крупной системы и анализировать в совокупности.)

21. Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.

22. Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].

23. Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.

24. Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].

25. Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.

Глава 5. Решающее стратегическое преимущество