Совместимость. Как контролировать искусственный интеллект

В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.

Под нажимом многие скептики признают, что проблема реальна, хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал[233]:

Позиция «скептиков» представляется следующей: пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы, но незачем паниковать или пытаться запретить исследования ИИ.

«Верующие» тем временем настаивают, что, хотя незачем паниковать или пытаться запретить исследования ИИ, пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы.

Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.

Дебаты выявили хаос, с которым мы имеем дело: если мы создаем машины для оптимизации целей, то цели, которые мы ставим перед машинами, должны соответствовать нашим желаниям. Однако мы не умеем полно и точно сформулировать цели человечества. К счастью, есть золотая середина.

Глава 7. Другой подход к ИИ

После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.

Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.

К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность, с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга[234] — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ[235]. Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.

Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.