Но правильно ли говорить «должны»? (Дисклеймер: в этом и во многих других случаях при описании развития общества, которое «могло бы», «должно» или «обязано» иметь место, технолог не обязательно излагает собственные соображения на сей счет. Нередко это предупреждение, неопределенность выбора или независимая оценка.) Робототехник Джанмарко Веруджо и другие специалисты с 2002 года поднимают вопросы роботоэтики[188]; Министерство торговли и промышленности Великобритании и Институт будущего корпорации «РЭНД» изучают вопросы прав роботов с 2006 года.
Принято говорить, что наука изучает то, что «есть», а не то, что «должно быть». Рассуждения Стивена Джея Гулда о «непересекающихся магистериях»[189] подразумевают, что следует строго различать факты и ценности. Точно так же в манифесте «Наука и креационизм» (1999) Национальной академии наук США отмечается, что «наука и религия принадлежат двум разным сферам познания». Это разделение критиковали многие – эволюционный биолог Ричард Докинз, я сам и др. Можно обсуждать значение слова «следует» в формулировке «Следует сделать X, чтобы добиться Y». Какова приоритетная величина Y, не обязательно решается демократическим голосованием, зато может определиться в ходе дарвиновского «голосования». Системы ценностей и религии возникают и исчезают, диверсифицируются, расходятся и сливаются, подобно живым существам, то есть они подвержены отбору. Конечная «ценность» («следует») обеспечивается выживанием генов и мемов.
Немногие религии утверждают отсутствие каких бы то ни было связей между нашим физическим бытием и духовным миром. Чудеса задокументированы. Конфликты между церковной доктриной и учениями Галилея и Дарвина постепенно улаживаются. Вера и этика широко распространены среди людей и могут быть изучены с использованием научных методов, включая, помимо прочего, МРТ, психоактивные препараты, опросники и пр.
С практической точки зрения мы должны опираться на этические нормы, встроенные, усвоенные или вероятностно отобранные для все более интеллектуальных и разнообразных машин. Но возникает целый ворох проблем в духе проблемы вагонетки[190]. При каком количестве людей в «очереди на смерть» компьютер должен принять решение и передвинуть конкретного человека вперед или назад? В конечном счете это задача глубинного обучения, когда придется принимать во внимание огромные базы данных и учитывать непредвиденные обстоятельства, что, казалось бы, не имеет прямого отношения к этике.
Например, компьютер может сделать вывод, что человек, который избежит смерти, если не вмешаться, является осужденным террористом-рецидивистом, способным распространить по миру смертоносный патоген, – или он станет святым POTUS[191], а также окажется звеном в цепочке гораздо более значимых событий в альтернативной реальности. Если какое-либо из приведенных описаний выглядит парадоксальным или нелогичным, возможно, начальные условия задачи сформулированы таким образом, что колебаний и нерешительности не избежать.
Либо можно использовать неправильное направление для настройки системы, дабы ошибочные режимы не попадали в фокус внимания. Например, в исходной формулировке проблемы вагонетки подлинно этическое решение было принято намного раньше, когда людям позволили выходить на рельсы – или еще раньше, когда мы предпочли расходы на развлечения расходам на обеспечение общественной безопасности. Вопросы, на первый взгляд нелепые и тревожные, например: «Кто владеет новыми умами и кто платит за их ошибки?», схожи с привычными законами, определяющими, кто владеет корпорациями и платит за их грехи.
Мы можем (чрезмерно) упростить этику, предположив, что какие-то сценарии не реализуются никогда. Технические проблемы и «красные линии», которые невозможно пересечь, обнадеживают, но реальность такова, что, едва выгоды перевешивают риски (пусть на краткий срок и на чуть-чуть), «красная линия» немедленно смещается. Незадолго до рождения Луизы Браун в 1978 году[192] многие люди ворчали, что ей суждено «стать настоящим маленьким монстром, уродливым, искалеченным, с которым что-то не так»[193]. Мало кто сегодня придерживается подобного взгляда на экстракорпоральное оплодотворение.
Какие технологии прокладывают путь к мультиплексной чувствительности? Дело не только в алгоритмах глубинного машинного обучения и «Большой железяке»[194]. Мы искусственно заставляем грызунов эффективно решать различные когнитивные задачи, а также проявлять другие значимые черты личности, скажем, настойчивость и умение сосредотачиваться. Применимы ли такие методики к животным, которые уже стоят на пороге человеческого (человекоподобного) интеллекта? Некоторые из них демонстрируют самопознание в зеркальном тесте (шимпанзе, бонобо, орангутанги, некоторые дельфины, киты и сороки).