Искусственный интеллект. Этапы. Угрозы. Стратегии

По всей видимости, метод МП тоже не лишен недостатков. Они основаны на чрезвычайно сложной концепции, вокруг которой ломают копья философы на протяжении многих веков, но в отношении которой так и не достигли согласия. Выбор ошибочного представления о моральной правоте может привести к очень негативным с этической точки зрения результатам. Казалось бы, эта сложность в определении моральной правоты может быть сильнейшим аргументом против использования метода. Однако пока неясно, насколько серьезным недостатком является эта особенность МП. В методе КЭВ тоже используются термины и концепции, которые не слишком легко определить (например, «знания», «быть в большей степени людьми, которыми нам хотелось бы быть», «стать ближе друг к другу»)[510]. Даже если терминологические единицы КЭВ чуть менее непрозрачны, они все-таки очень далеки от тех возможностей, которые сегодня есть у программистов, чтобы выразить все это в исходном коде[511]. Чтобы ИИ справился с любой подобной концепцией, ему нужно обладать хотя бы общими лингвистическими знаниями и способностями (сравнимыми с теми, которые есть у взрослого человека). Но такую общую способность понимать обычный язык можно использовать и для познания того, что означает «моральная правота». Если ИИ способен понять смысл, он выберет и действия, которые соответствуют этому значению. По мере продвижения в сторону сверхразума ИИ может прогрессировать в двух направлениях: в осознании значения моральной правоты с точки зрения философской проблемы и в решении практической задачи по применению этого понимания к оценке конкретных действий[512]. Хотя это и нелегко, но вряд ли труднее, чем моделирование когерентного экстраполированного волеизъявления человечества[513].

Более фундаментальная проблема МП заключается в другом. Даже будучи примененным, этот метод может не привести к нужному результату, то есть ИИ не остановится на том правильном варианте, который выбрали бы мы сами, если были бы такими же разумными и информированными, как он. Причем это не просто случайная ошибка, а существенный недостаток модели МП, к тому же чрезвычайно опасный для нас самих[514].

Можно попытаться сохранить основную идею МП и при этом снизить ее требовательность, сосредоточившись на моральной допустимости — идее о том, что можно сделать так, что ИИ будет действовать в соответствии с КЭВ человечества до тех пор, пока эти действия будут морально допустимыми. Например, возможна следующая цель ИИ:

Среди морально допустимых для ИИ действий выбирать те, которые соответствовали бы КЭВ человечества. Однако если какая-то часть этой инструкции определена не строго, или если есть серьезные сомнения в ее значении, или если концепция моральной правоты ложна, или если, создавая ИИ с этой целью, мы действовали морально недопустимо, тогда перейти к контролируемому отключению[515] Следовать значению этой инструкции, которое имелось в виду разработчиками.

Кого-то может по-прежнему беспокоить факт, что в модели моральной допустимости (далее по тексту — МД) отводится неоправданно большая роль требованиям этики. Но степень жертвы, которую придется принести, зависит от того, какая этическая теория является истинной[516]. Если предполагается этика, отвечающая принципу разумной достаточности, то есть удовлетворяющая в том смысле, что считает морально допустимыми любые действия, которые удовлетворяют нескольким моральным ограничениям, — тогда МП может предоставить нам большую свободу во влиянии нашего когерентного экстраполированного волеизъявления на действия ИИ. Если предполагается этика, отвечающая критерию доведения до максимума, то есть максимизирующая в том смысле, что морально допустимы лишь те действия, которые имеют наилучшие последствия с этической точки зрения, — тогда метод МД почти или совсем не оставляет возможности, чтобы наши предпочтения влияли на результаты работы ИИ.