Искусственный интеллект

Еще одна потенциальная причина роста сопротивляемости состоит в том, что сами имитационные модели или их защитники-люди могут организовать движение за регулирование отрасли, что повлечет за собой ряд ограничений: сокращение числа работников-эмуляций; лимит на копирование имитационных моделей; запрет на определенные виды экспериментов над моделями, — но кроме этого работники-эмуляции получат гарантированное соблюдение своих прав, установленную специально для них минимальную заработную плату, ну и так далее. Правда, вполне допустимо, что политическое развитие пойдет в прямо противоположном направлении, в результате чего сопротивляемость упадет. Это может случиться, если первоначальные ограничения в использовании работников-эмуляций уступят место их безоглядной эксплуатации — после того как вырастет конкуренция и станут очевидны высокие экономические и стратегические издержки слишком щепетильного отношения к моральным аспектам проблемы.

Что касается искусственного интеллекта (машинного интеллекта, не связанного с имитационным моделированием человеческого мозга), то степень сложности его развития от УИИЧУ до уровня сверхразума за счет совершенствования алгоритма будет зависеть от особенностей конкретной системы. Сопротивляемость разных архитектур может различаться очень сильно.

В некоторых случаях она, вероятно, окажется чрезвычайно низкой. Скажем, создание ИИЧУ задерживается из-за какого-то последнего, ускользающего от программистов штриха, но после того как он будет найден, ИИ может в одночасье преодолеть разрыв между уровнем ниже человеческого и уровнем, значительно его превосходящим. Еще одна ситуация, в которой сопротивляемость может оказаться низкой, — это когда умственные способности ИИ развиваются за счет двух различных способов обработки информации. Представим ИИ, состоящий из двух подсистем, одна из которых отвечает за методы решения узкоспециализированных задач, другая — за универсальное мышление. Вполне возможно, что если вторая подсистема недотягивает до некоторого порогового значения производительности, она ничего не добавляет в совокупную производительность системы, поскольку ее решения всегда хуже тех, которые вырабатывает подсистема работы со специализированными задачами. Теперь предположим, что к подсистеме универсального мышления приложили определенную силу оптимизации, в результате чего производительность подсистемы резко повысилась. Поначалу мы не увидим изменения в совокупной производительности системы, что говорит о ее высокой сопротивляемости. Затем, когда возможности второй подсистемы пересекут некоторое пороговое значение, ее решения станут превосходить решения подсистемы специализированных задач, и совокупная производительность ИИ начнет расти с тем же высоким темпом, как растет производительность подсистемы универсального мышления, несмотря на то что сила оптимизации остается неизменной, — тогда сопротивляемость системы резко упадет.

Возможно также, что из-за естественной для нас склонности смотреть на интеллект с антропоцентрической точки зрения мы будем недооценивать динамику улучшений в системах, недотягивающих до человеческого уровня, и, таким образом, переоценивать сопротивляемость. Элиезер Юдковский, теоретик искусственного интеллекта, много пишущий о его будущем, говорит­ об этом в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» (см. также рис. 8):

Рис. 8. Не слишком антропоморфная шкала? Разрыв между идиотом и гением с антропоцентрической точки зрения может показаться очень значительным, но в более широкой перспективе различий между ними почти не видно9. Наверняка гораздо сложнее будет создать машину, чей уровень общего интеллекта окажется сравнимым с уровнем интеллекта полного идиота, чем усовершенствовать эту систему, в результате чего она станет намного умнее самого гениального из людей.

ИИ может совершить кажущийся резким скачок в интеллектуальных способностях исключительно вследствие антропоморфизма, то есть присущей человеку тенденции считать, будто на интеллектуальной шкале располагается не практически бесконечное количество точек, а есть всего две крайние, причем на одной крайней точке находится «деревенский дурачок», а на другой — «Эйнштейн».

Все, что глупее глупого человека, может показаться кому-то просто «глупым». И вот мы как бы двигаемся по интеллектуальной шкале вправо, мимо мышей и шимпанзе, а ИИ все еще остается «глупым», поскольку не говорит свободно на вашем языке и не пишет научные статьи, но потом он внезапно преодолевает крошечный разрыв между недоидиотом и сверх-Эйнштейном за месяц или около того8.