Искусственный интеллект

Скорее всего, использовать стратегию аргументации от противного для достижения глобальных долгосрочных целей будет невероятно трудно. Кто сможет предсказать результирующее воздействие сообщения после его скачков влево-вправо и вверх-вниз в пинболе общественного дискурса? Для этого пришлось бы смоделировать риторический эффект на миллиарды его составляющих, для которых характерны свои уникальные черты и степень влияния на события, меняющиеся на протяжении долгого времени, в течение которого извне на систему будут действовать непредсказуемые события, а изнутри ее топология будет претерпевать непрерывную эндогенную реорганизацию — задача явно неразрешимая!16 Однако может статься, что нам не придется детально прогнозировать всю траекторию будущего развития системы, дабы обзавестись уверенностью, что наше вмешательство в нужный момент увеличит вероятность достижения ею нужной нам долгосрочной цели. Можно было бы, например, сосредоточить внимание лишь на сравнительно кратко­срочных и предсказуемых этапах этой траектории, выбирая такие действия, которые облегчат их прохождение, и рассматривая поведение системы за пределами горизонта прогнозирования как случайное блуждание.

Существуют, однако, некоторые этические основания для отказа от шагов в пределах аргументации от противного. Попытки перехитрить других выглядят как игра с нулевой суммой или даже отрицательной, если учесть время и энергию, которых понадобится намного больше как на сами эти попытки, так и потому, что всем становится сложнее понять, что же на самом деле думают другие, и добиться доверия к своим собственным суждениям17. Повсеместное использование методов стратегического манипулирования убило бы искренность, а истина была бы обречена блуждать в коварном мраке политических игр.

Пути и возможности

Следует ли нам приветствовать успехи в создании аппаратного обеспечения? А успехи на пути к созданию компьютерной модели мозга? Давайте ответим на эти вопросы по очереди.

Последствия прогресса в области аппаратного обеспечения

Повышение быстродействия компьютеров облегчает создание машинного интеллекта. Таким образом, одним из эффектов от прогресса в области аппаратного обеспечения является ускорение момента, когда на свет появится­ машинный интеллект. Мы уже говорили о том, что с объективной точки зрения это может быть плохо, поскольку у человечества будет меньше времени на то, чтобы решить проблему контроля и подняться на более высокую ступень цивилизации. Впрочем, это не означает неминуемость катастрофы. Поскольку сверхразум устранит множество других экзистенциальных рисков, стоит предпочесть его раннее появление, если уровень этих рисков окажется слишком высоким18.

Приближение или откладывание взрывного развития искусственного интеллекта — не единственный канал, посредством которого прогресс в области аппаратного обеспечения способен повлиять на экзистенциальный риск. Еще одна возможность заключается в том, что аппаратное обеспечение может до некоторой степени заменить программное: более совершенная аппаратная основа снижает требования к минимальному уровню навыков, которые требуются для создания кода зародыша ИИ. Быстрые компьютеры могут также стимулировать использование подходов, которые больше полагаются на полный перебор (вроде генетических алгоритмов и прочих методов, работающих по схеме «генерация–оценка–уничтожение») и меньше — на техники, требующие глубокого понимания ситуации. Если в результате использования методов полного перебора, как правило, возникают системы с более беспорядочной и менее точной архитектурой, где проблему контроля решить труднее, чем в системах с более точно спроектированной и теоретически предсказуемой архитектурой, то это означает еще одну причину, по которой более быстрые компьютеры увеличивают экзистенциальный риск.

Еще одно соображение состоит в том, что быстрый прогресс в области аппаратного обеспечения повышает вероятность быстрого взлета. Чем больших успехов добивается индустрия микропроцессоров, тем меньше человеко-часов требуется программистам для вывода возможностей компьютеров на новый уровень производительности. Это значит, что взрывное развитие искусственного интеллекта вряд ли произойдет на самом нижнем уровне производительности аппаратного обеспечения. То есть более вероятно, что такой взрыв случится тогда, когда компьютеры окажутся на гораздо более высоком уровне развития. Это означает, что взлет произойдет в условиях «аппаратного навеса». Как мы видели в четвертой главе, аппаратный навес — один из многих факторов, снижающих сопротивляемость системы в процессе взлета. А значит, быстрый прогресс в области аппаратного обеспечения­, скорее всего, приведет к более быстрому и взрывоопасному переходу к сверхразуму.