Совместимость. Как контролировать искусственный интеллект

Во всех трех случаях послание одно и то же: «Не слушайте их, специалисты — мы». Что ж, можно заметить, что это аргумент с переходом на личности, попытка опровергнуть чужое послание, обесценив его автора, но даже если принять этот аргумент за чистую монету, он все равно ничего не доказывает. Илон Маск, Стивен Хокинг и Билл Гейтс, безусловно, очень хорошо владеют научным и технологическим мышлением, а Маск и Гейтс еще и руководили и финансировали многие проекты исследования ИИ. Было бы еще менее обоснованно утверждать, что Алан Тьюринг, И. Дж. Гуд, Норберт Винер и Марвин Минский были не подготовлены обсуждать ИИ. Наконец, запись в вышеупомянутом блоге Скотта Александера, озаглавленная «Исследователи ИИ о риске, который несет ИИ», отмечает, что «исследователи ИИ, в том числе некоторые лидеры этого направления, с самого начала играли ключевую роль в постановке вопроса о рисках ИИ и сверхинтеллектуальности». Он перечисляет еще несколько ученых, а сегодня этот список значительно длиннее.

Другой стандартный риторический ход «защитников ИИ» — представлять своих противников новыми луддитами. Упоминание Орена Эциони о «ткачах, швыряющих свои башмаки в механические ткацкие станки» как раз из этой оперы. Луддиты — это ремесленники-ткачи, протестовавшие в начале XIX в. против внедрения машин, заменивших их квалифицированный труд. В 2015 г. Фонд содействия развитию информационной технологии и инноваций вручил свою ежегодную Премию луддитов «алармистам, предрекающим апокалипсис из-за искусственного интеллекта». Что за странное представление о «луддитах», включая Тьюринга, Винера, Минского, Маска и Гейтса, входящих в число самых видных участников технологического прогресса XX и XXI вв.!

Обличение новых луддитов свидетельствует о непонимании природы опасений и цели высказывания этих опасений. Это все равно что называть луддитами инженеров-ядерщиков, указывающих на необходимость контроля реакции синтеза. Как и в случае странного феномена — исследователей ИИ, вдруг заявивших, что ИИ невозможен, — этот загадочный момент, на мой взгляд, можно объяснить все тем же синдромом «нашизма».

Уклонение

Некоторые комментаторы готовы признать, что риски реальны, но все-таки высказываются за то, чтобы ничего не делать. Их аргументы: ничего сделать невозможно, важно сделать что-то совершенно другое, нужно помалкивать о рисках.

Исследования невозможно контролировать

Типичный ответ на предположения, что продвинутый ИИ может быть опасен для человечества, — запретить исследования ИИ невозможно. Обратите внимание на мысленный скачок: «Ага, кто-то заговорил о рисках! Наверняка предложит запретить мое исследование!» Этот скачок может быть уместным при обсуждении рисков с опорой только на «проблему гориллы», и я склонен согласиться, что ее решение путем запрета создания сверхинтеллектуального ИИ потребовало бы наложить определенные ограничения на исследования ИИ.

Однако текущее обсуждение рисков сосредоточено не на носящей общий характер «проблеме гориллы» (пользуясь языком журналистики, противостоянии людей и сверхразума), а на «проблеме царя Мидаса» и ее вариантах. Решение «проблемы царя Мидаса» решает и «проблему гориллы» — не предотвращением появления сверхинтеллектуального ИИ и не обнаружением способа победить его, а исключением самой возможности его конфликта с людьми. Обсуждения «проблемы царя Мидаса» обычно избегают предложения свернуть исследования ИИ. Предлагается лишь уделить внимание вопросу предотвращения отрицательных последствий плохо сконструированных систем. Аналогично разговор о рисках утечки на АЭС нужно рассматривать не как попытку запретить исследования в области ядерной физики, а как предложение направить больше усилий на решение проблемы безопасности.

Имеется очень интересный исторический прецедент сворачивания научного исследования. В начале 1970-х гг. биологи начали понимать, что новые методы рекомбинации ДНК — встраивания генов одного организма в другой — могут нести существенные риски для здоровья человека и мировой экосистемы. Две конференции в калифорнийском Асиломаре в 1973 и 1975 гг. привели сначала к мораторию на подобные эксперименты, а затем к выработке детальных принципов биобезопасности с учетом рисков каждого предлагаемого эксперимента[214]. Некоторые типы опытов, например с использованием генов токсинов, были сочтены слишком опасными, чтобы их разрешить.