Война и еще 25 сценариев конца света

Еще один неприятный сценарий, связанный с ИИ, в том, что возможен одновременный рост нескольких ИИ с принципиально несовместимыми архитектурами и системами целей. Например, если несколько проектов придут к финишу одновременно, и особенно если эти проекты будут принадлежать идеологически конкурирующим странам. В этом случае возможна борьба нескольких ИИ между собой в масштабах всей планеты. И хотя каждый из них будет обладать своей собственной картиной блага человечества, эти картины могут конфликтовать за право реализоваться. Точно так же националистические, демократические, коммунистические и религиозные государственные системы конфликтуют за право объединить под своим крылом весь мир и вести его к светлому будущему. И именно эта борьба мешает светлому будущему реализоваться. Получается, как в советском анекдоте: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».

Крайне опасно вживлять в систему ИИ любую форму инстинкта самосохранения, поскольку это побудит его рассматривать риск выключения его людьми как угрозу своему существованию. В этом случае он может стать тайно враждебным человеку, то есть изображать дружественность и безопасность, но вовсе не собираться их реализовывать всегда, а наоборот, будет стремиться уйти от контроля своих создателей.

Важно отметить порочность концепции о том, что достаточно будет отключить питание или запереть ИИ в черном ящике, чтобы сделать его безопасным. Это не более разумно, чем утверждать, что с компьютерными вирусами следует бороться отключением питания. В действительности, если ИИ решит, что он не хочет, чтобы его отключили, то у него будет много вариантов действий. Во-первых, он будет тщательно скрывать это свое намерение, во-вторых, он будет стремиться «утечь» из того компьютера, на котором он работает, в сеть, и, наконец, он будет стремиться предложить своему создателю «сделку». Я намеренно беру это слово в кавычки, поскольку честность такой сделки в любом случае сомнительна. ИИ может нажать на все чувствительные места своего создателя – от предложений неограниченной власти на Земле до шантажа выдуманными или даже реальными угрозами.

Мы не должны отождествлять интеллект с моральностью. ИИ может быть не более добр, чем человек добр к муравьям. Что касается идеи о том, что ИИ можно запереть в черный ящик, то она тоже принципиально порочна. ИИ, по определению, сильнее человека интеллектуально, поэтому любой черный ящик, сконструированный человеком, может быть уязвимым для взлома изнутри. Напомню, что все созданные человеком системы безопасности были взломаны самим же человеком.

На практике ИИ может обнаружить несколько весьма нетривиальных способов атаки изнутри черного ящика. В качестве возможных примеров приведу три.

Первый способ выхода из черного ящика – это модуляция радиосигналов с помощью подбора частот работы системы и выход по беспроводным сетям.

Второй – это взлом через анализ электропитания, широко применяемый хакерами против разных защит.

Третий – это такие изменения в исходном коде программы, которые создадут у программистов впечатление, что она неисправна, и побудят открыть черный ящик и произвести обмен информации с внешним миром.

В любом случае идеальный черный ящик для защиты от ИИ – это система, в которую никогда не поступает никакой информации о внешнем мире и никогда не выводится никакой информации о результатах работы ИИ внутри. Очевидно, что создание такого черного ящика бессмысленно.

При этом в отношении ИИ, как и в отношении любого другого сверхоружия, действует своеобразный закон больших чисел. Он состоит в том, что если есть много групп исследователей, то среди них наверняка найдется та, у которой нормы безопасности будут минимальными, а уровень наглости – максимальным, и пока большинство групп будут тормозить свои исследования из страха навредить, максимальное влияние на происходящие процессы окажет именно наиболее смелая группа. При этом чем быстрее она будет работать, тем меньше у нее будет времени на проверку всех возможных ошибок в системе целей ИИ, и тем больше шансов, что она запустит сырой продукт.

В отношении ИИ также действует порог сложности, описанный Винером, который означает, что невозможно сделать полностью безошибочной программу выше определенного уровня сложности.