Искусственный ты. Машинный интеллект и будущее нашего разума

Я уже указывала на возможные этические последствия возникновения синтетического сознания и подчеркивала, что мы сейчас не знаем, будут ли созданы самосознающие машины и каково будет их влияние на общество. Нам необходимо разработать тесты для машинного сознания и исследовать влияние сознания на другие ключевые свойства системы, такие как эмпатия и лояльность. Принцип предосторожности подсказывает, что не следует слишком торопиться с разработкой сложного искина, не поняв, насколько он безопасен, поскольку случайное или намеренное создание самосознающих машин может породить экзистенциальные или катастрофические риски для человечества – от непредсказуемого сверхразума, который заменит людей, до слияния человека и машины, при котором человеческое сознание ослабнет или просто угаснет.

В свете этих возможностей я хочу предложить шесть рекомендаций. Во-первых, мы должны продолжить работу над этими тестами и применять их везде, где это возможно. Во-вторых, в случае сомнений в наличии сознания у того или иного искина не следует использовать его в ситуациях, где он потенциально может нанести катастрофический вред. В-третьих, если есть основания предполагать наличие сознания у искина, даже при отсутствии достоверных тестов, то в соответствии с принципом предосторожности на него следует распространить юридическую защиту, которой пользуются другие одушевленные существа. Насколько нам известно, самосознающий искин способен страдать и испытывать целый ряд эмоций, подобно животным. Исключение самосознающих искинов из этических схем означало бы дискриминацию по видовому признаку. В-четвертых, представьте себе искинов с «маркерами» сознания (т. е. таких, которые обладают лишь косвенными признаками сознания). Это могут быть, например, искины, построенные на чипах, испытываемых на пригодность, или искины, обладающие когнитивным сознанием. В проектах, где задействованы искины с маркерами сознания, могут, насколько нам известно, появиться по-настоящему самосознающие искины, даже если они не выдерживают ACT-тест. До тех пор пока мы не узнаем наверняка, обладают ли сознанием эти системы, нам в соответствии с принципом предосторожности лучше всего относиться к ним как к обладающим сознанием.

В-пятых, я советую разработчикам ИИ следовать предложению философов Мары Гарцы и Эрика Швицгебеля и избегать создания искинов в тех случаях, когда нельзя точно сказать, будут ли они обладать сознанием. Следует создавать только искинов с понятным моральным статусом, так или иначе. Как подчеркивают Гарца и Швицгебель, ставки в том случае, если мы распространим этическую защиту на искины, которые лишь могут обладать сознанием и могут заслуживать прав, слишком высоки. Представьте, например, что есть три андроида, которые могут обладать сознанием, и мы наделяем их равными правами. Но при транспортировке они попадают в аварию, и у нас есть возможность спасти либо машину с тремя андроидами, либо машину с двумя людьми. Мы спасаем андроидов и обрекаем людей на смерть. Такая ситуация будет особенно трагичной, если эти андроиды на самом деле не обладают сознанием. Люди умерли, а андроиды на самом деле не заслуживали этих прав. В свете таких рассуждений Гарца и Швицгебель рекомендуют придерживаться «принципа исключенного среднего»: нам следует создавать только таких существ, моральный статус которых ясен так или иначе. Тогда мы сможем избежать рисков предоставления как слишком ограниченных, так и слишком широких прав[56].

Принцип исключенного среднего представляется мне важным и заслуживающим внимания, но он может оказаться применимым не во всех случаях. Пока мы не поймем в достаточной мере, какие системы обладают сознанием – если, конечно, такие имеются, – а также влияет ли и как именно влияет сознание на общее функционирование системы, нельзя сказать, хорошая ли это идея – заранее исключать все промежуточные искины. Кто знает, не окажется ли какой-нибудь искин из этой категории ключевым для национальной безопасности или даже для безопасности самого ИИ. Возможно, самые сложные квантовые компьютеры окажутся именно в промежуточной зоне, по крайней мере поначалу. Для некоторых организаций отказ от энергичного внедрения квантовых вычислений породил бы риски кибербезопасности и стал бы стратегическим недостатком. (Более того, маловероятно, что глобальное соглашение об исключении средних случаев можно реализовать в ситуации, когда обладание этой технологией имеет гигантскую стратегическую ценность.) В этих ситуациях у некоторых организаций, возможно, не останется выбора, кроме как разрабатывать системы среднего уровня, если выяснится, что они безопасны. В подобных случаях, как я уже указывала, лучше всего обращаться с искинами так, как если бы они обладали сознанием.