Искусственный интеллект. Этапы. Угрозы. Стратегии

Даже если у нас существовала бы рациональная уверенность, что мы обнаружили правильную этическую теорию — которой у нас нет, — по-прежнему оставался бы риск совершения ошибок при ее детальной проработке. У внешне простых этических теорий может иметься множество скрытых противоречий[491]. Рассмотрим, например, консеквенциалистскую теорию гедонизма (кстати, необыкновенно простую). Если совсем кратко, то она о том, что удовольствие — это ценность, а страдание — нет[492]. Даже если мы поставим все наши моральные фишки на эту теорию и она окажется верной, останутся открытыми множество важных вопросов. Следует ли присваивать более высокий приоритет «высшим удовольствиям» по сравнению с «низшими» по примеру Джона Стюарта Милля? Как учитывать интенсивность и продолжительность удовольствия? Могут ли страдание и удовольствие взаимно исключать друг друга? Какие типы мышления ассоциируются с морально допустимыми удовольствиями?[493] Увеличится ли в два раза количество удовольствия в результате появления двух точных копий одного такого типа разума?[494] Существуют ли подсознательные удовольствия? Как быть с чрезвычайно низкими шансами хоть когда-нибудь получить предельное удовольствие? Как объединить удовольствие членов неограниченной популяции в одно целое?[495]

Неверный ответ на любой из этих вопросов приведет к катастрофе. То есть при выборе конечной ценности для сверхразума, в попытках нащупать хоть какое-то действенное решение, нам придется по-крупному ставить не только на этическую теорию в ее цельном состоянии, но и на частные особенности, на многочисленные интерпретации, всевозможные вкрапления и исключения — при таком обороте наши шансы на точный выстрел, кажется, начнут стремиться к нулю. Глупцы с радостью ухватятся за возможность одним махом решить все важные этические проблемы, а найденные ими удобные ответы сразу загрузить в зародыш ИИ. Мудрецы отправятся в трудный путь поисков альтернативных подходов и разыскивания способов подстраховки.

Все эти размышления подводят нас к варианту косвенной нормативности. Объективная причина создания сверхразума заключается в том, что на него можно переложить инструментальную задачу поиска эффективных путей достижения той или иной ценности. А за счет косвенной нормативности мы можем буквально свалить на него и сам выбор этой системы ценностей.

Косвенная нормативность позволяет решить проблему незнания того, что мы на самом деле хотим, что входит в наши интересы, что является моральным правом или идеалом. Вместо размышлений, основанных на сегодняшнем понимании (которое, вероятно, глубоко ошибочно), можно делегировать некоторую часть когнитивной работы по выбору системы ценностей самому сверхразуму. Он, несомненно, сможет выявить и ошибки и противоречия, искажающие наши представления, поскольку с такой работой лучше него не справится никто. Можно обобщить эту идею и выразить ее в качестве эвристического принципа.

Принцип эпистемологического превосходства

Будущий сверхразум занимает эпистемологически более высокий наблюдательный пункт: его убеждения (видимо, относительно большинства вопросов) с большей вероятностью окажутся истинными, чем наши. Поэтому при любых возможных обстоятельствах следует полагаться на его мнение[496].

Косвенная нормативность позволяет применить этот принцип к проблеме выбора системы ценностей. Будучи неуверенными в своей способности задать конкретный нормативный стандарт, мы можем определить какое-то более абстрактное условие, которому должен удовлетворять любой нормативный стандарт, в надежде, что сверхразум справится сам и отыщет конкретный стандарт, удовлетворяющий этому абстрактному условию. А затем мы поставим перед зародышем ИИ его ценностную конечную цель: вести себя в соответствии со своими представлениями о правильных действиях, основанных на этом стандарте, определенном косвенным образом.

Прояснить эту идею нам помогут несколько примеров. Вначале рассмотрим модель косвенной нормативности, предложенную Элиезером Юдковским, — когерентное экстраполированное волеизъявление. Затем разберем несколько вариантов и альтернатив этой модели, чтобы составить представление о диапазоне возможных решений.

Когерентное экстраполированное волеизъявление

Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так: