Искусственный интеллект. Этапы. Угрозы. Стратегии

Метод КЭВ дает такую возможность. Предполагается, что его нужно запустить лишь в начале, а затем он сам будет развиваться и меняться вместе с изменением экстраполированного волеизъявления. Если экстраполированное волеизъявление человечества склонится к тому, чтобы жить под присмотром патерналистски настроенного сверхразума, тогда процесс КЭВ создаст такой ИИ и передаст ему бразды правления. Если, напротив, экстраполированное волеизъявление человечества придет к тому, чтобы создать демократическое мировое правительство, состоящее из людей, тогда КЭВ инициирует формирование такого института. Если экстраполированное волеизъявление человечества будет заключаться в наделении каждого человека ресурсами, которыми он может пользоваться в свое удовольствие, пока уважает такие же права других людей, тогда процесс КЭВ осуществит и эту идею; причем сверхразум будет присутствовать на заднем плане в качестве этакого воплощения закона природы — чтобы пресекать злоупотребления, кражи, убийства и прочие действия, не согласованные с их объектом[504].

Таким образом, структура модели КЭВ допускает практически неограниченный диапазон исходов. Можно даже допустить, что экстраполированное волеизъявление человечества будет состоять в том, чтобы сверхразум вообще ничего не делал. В этом случае он может безопасно отключить себя, предварительно убедившись в действительно высокой вероятности того, что этого хочет КЭВ.

Дополнительные замечания

Описание модели КЭВ в том виде, как оно дано выше, конечно, очень схематично. Остается множество параметров, которые можно бы описать по-разному и получить в результате разные варианты реализации.

Одним из таких параметров является база экстраполяции: чье волеизъявление следует учитывать? Можно сказать «всех», но этот ответ порождает массу новых вопросов. Должна ли база экстраполяции включать «маргинальные» состояния человека и какие? Примут ли во внимание эмбриональное и плодное состояние? Как быть с людьми, у которых наступила смерть мозга, людьми с тяжелыми психическим расстройствами и пациентами, находящимися в коме? Должны ли оба полушария людей с расщепленным мозгом иметь одинаковый вес, и должен ли он совпадать с весом, который присвоен мозгу среднестатистического здорового человека? Как быть с людьми, которые жили раньше и уже умерли? А с теми, кто родится в будущем? С высшими млекопитающими и другими существами, обладающими чувствами? Имитационными моделями мозга? Инопланетянами?

Одно из мнений заключается в том, чтобы включать в популяцию лишь взрослых людей, живущих на Земле на момент начала создания ИИ. После этого первая экстраполяция, полученная на этой базе, решит, нужно ли ее расширять. Поскольку количество «маргиналов» на периферии этой базы сравнительно невелико, результат экстраполяции не должен сильно зависеть от того, где именно будет проведена граница — например, будут или нет учитываться и эмбрион, и плод или только плод.

Однако если кого-то исключат из исходной базы экстраполяции, это не будет означать, что их желания и благополучие принесли в жертву. Если КЭВ тех, кто в базу включен (например, живущие на Земле взрослые люди), будет состоять в том, что этические соображения следует распространить и на другие существа, результат КЭВ учтет эти предпочтения. Тем не менее возможно, что интересы людей, включенных в исходную базу экстраполяции, будут учтены в большей степени, чем всех остальных. В частности, если процесс начинает действовать только в случае согласия между индивидуальными экстраполированными волеизъявлениями (как предполагается в оригинальном предложении Юдковского), то возникает значительный риск преобладания голосов тех, кто не самым благородным образом начнет выступать против заботы о благополучии высших млекопитающих или эмуляторов. Тогда был бы нанесен серьезный ущерб нравственной атмосфере всего человеческого сообщества[505].

Метод КЭВ выгодно отличается от других еще и тем, что снижает конкуренцию между людьми за создание первого сверхразума. Но даже признав, что метод выглядит лучше многих других, мы не можем исключить совсем возникновение конфликтных ситуаций. Всегда найдутся те, кто начнет преследовать собственные корыстные интересы: и отдельные личности, и сообщества, и целые государства могут стремиться увеличить свою долю будущего пирога за счет исключения других из базы экстраполяции.

Такое стремление к власти объясняется по-разному. Например, собственник проекта, полностью финансирующий разработку ИИ, имеет право влиять на дальнейшие результаты. Этичность этого права сомнительна. Оспорить ее можно, например, тем, что проект по созданию первого успешного зародыша ИИ несет огромные риски гибели всего человечества, которые, соответственно, должны быть как-то компенсированы. Но справедливая величина компенсации настолько высока, что единственно возможная ее форма — это предоставление каждому доли тех благ, которые удастся получить в случае успеха[506].