Искусственный интеллект

12. Насколько близко должен воспроизводить мозг машинный интеллект, чтобы считаться полноценной имитационной моделью, а не нейроморфным ИИ? Подходящим критерием могло бы быть воспроизведение моделью или системы ценностей, или полного набора когнитивных и оценочных особенностей какого-то конкретного или просто среднестатистического человека, поскольку, вероятно, именно это важно с точки зрения проблемы контроля. Копирование этих качеств требует от модели более высокой точности.

13. Величина этого ускорения, конечно же, зависит от того, насколько велики приложенные усилия, и от источника использованных при этом ресурсов. Ускорения развития нейробиологии не произойдет, если все дополнительные ресурсы, распределенные на исследования в области компьютерного моделирования мозга, будут сняты с направления общих нейробиологических исследований — если только фокус на моделировании не окажется более эффективным способом развития нейробиологии в целом, чем стандартный портфель исследований в этой области.

14. См.: [Drexler 1986, p. 242]. Эрик Дрекслер (в личном общении) подтвердил, что эта реконструкция соответствует ходу рассуждений, который он хотел представить в своих работах. Наверное, если кто-то захочет превратить эту схему в логически завершенную цепочку умозаключений, придется добавить множество явных допущений.

15. Возможно, нам не стоит приветствовать мелкие катастрофы по той причине, что они повышают нашу бдительность и не дают произойти средним катастрофам, которые были бы необходимы для принятия сильных мер предосторожности, способных предотвратить экзистенциальные катастрофы? (И, конечно, как и в случае биологических иммунных систем, нужно помнить о возможной гиперреакции, аналога аллергических реакций и аутоиммунных нарушений.)

16. См.: [Lenman 2000; Burch-Brown 2014].

17. См.: [Bostrom 2007].

18. Обратите внимание, что этот аргумент касается только порядка, но не времени, когда произойдут указанные события. Более раннее появление сверхразума поможет снизить другие экзистенциальные риски только в том случае, если его вмешательство изменит последовательность ключевых событий: например, если сверхразум появится раньше, чем будут пройдены определенные вехи в развитии нанотехнологий или синтетической биологии.

19. Если решить проблему контроля несоизмеримо сложнее, чем проблему эффективности машинного интеллекта, и если возможности проекта очень слабо коррелируют с размером проекта, тогда, возможно, лучше вначале реализовать мелкие проекты, особенно если различия в возможностях среди мелких проектов выше. Даже если мелкие проекты отличаются в среднем более низким уровнем компетентности, чем крупные, вероятность того, что у какого-то из них уровень компетентности окажется достаточно высоким, чтобы решить проблему контроля, будет не ниже, чем в случае крупного проекта.

20. Никто не отрицает, что можно представить появление новых инструментов, которые способны еще больше облегчить общение в глобальных масштабах — например, для высококачественного перевода, точного поиска, повсеместной работы смартфонов, создания привлекательной виртуальной среды для общения и так далее — и для которых будет желательным (или даже обязательным) прогресс в области аппаратного обеспечения.

21. Инвестиции в развитие технологии полной эмуляции головного мозга ускорят движение в сторону создания полноценной имитационной модели не только прямо (за счет появления новых технических методов), но и косвенно, за счет создания условий, которые обеспечат увеличение финансирования, а также повысят заметность этого направления и доверие к нему.

22. Сколько может потерять человечество, если контуры будущего будут определяться желаниями одного случайного человека, а не суперпозицией желаний всего народонаселения? Ответ на этот вопрос очень сильно зависит от стандартов оценки, которые мы используем, а также от того, идет ли речь об идеализированных или «необработанных» желаниях.

23. Например, в то время как два человеческих мозга «обмениваются информацией» очень медленно, посредством языка, ИИ может быть разработан таким образом, что две копии одной и той же программы смогут легко и быстро передавать друг другу и информацию, и навыки. Изначально предназначенный для киберпространства машинный интеллект не нуждается в громоздкой системе приспособления к природной среде обитания, унаследованной людьми от своих предков. Устройство цифрового мозга позволяет ему воспользоваться всеми преимуществами быстрых последовательных вычислений, недоступных мозгу биологическому, а также быстро инсталлировать новые высокооптимизированные функциональные модули (например, для обработки символьной информации, распознавания образов, симуляции, глубинной обработки данных и планирования). У ИИ могут быть заметные преимущества нетехнического характера, например его легче запатентовать и с ним не связаны типичные для использования КИМГМ сложности этического плана.