Убили бы вы толстяка? Задача о вагонетке: что такое хорошо и что такое плохо?

Составитель моральной таксономии Джон Микаил разобрал действия на их средства (перевод стрелки в «Тупике»), цели (предотвращение убийства пятерых человек) и побочные последствия (убийство человека на главном пути). Оскорбление действием — нежелательный телесный контакт, повлекший причинение ущерба, — обычно не допускается. В сценарии «Толстяк» к побочным последствиям относится убийство с оскорблением действием, вот почему убийство толстяка очевидным образом (по крайней мере для большинства людей) исключается.

Успешная фиксация принципов, которые управляют нашими этическими реакциями на происходящее в мире, обещает то, что, по крайней мере в теории, компьютеры можно будет запрограммировать так, чтобы они реагировали как люди. Другими словами, мы могли бы свести моральные соображения к алгоритмам и создавать роботов, которые бы вели себя так, как, по нашему мнению, должны вести себя люди.

Это привело бы к некоторым радикальным последствиям, например в военном деле. Будущее армии определяется роботизацией, в процессе которой машины становятся «автономными», получая возможность принимать решения без прямого надзора человека[150]. Было бы наивным считать, что «агенты» — машины, вроде тех, что фигурировали в романах Айзека Азимова или в таких фильмах, как «Бегущий по лезвию бритвы», все еще существуют только в фантастике.

Беспилотный автомобиль Google — пример передовой стадии такого развития. В разных городах мира вводятся беспилотные поезда, уже действующие в многочисленных аэропортах. Например, в Копенгагене почти всё контролируется централизованно — компьютерами. Можно представить себе, что какой-нибудь сорвавшийся беспилотный поезд столкнется с проблемой «выбора» — убить пять человек или убить одного, — и что его можно запрограммировать так, чтобы он отвечал на важные качества ситуации.

Машины с искусственным интеллектом — будь они беспилотными поездами или вооруженными роботами — могли бы «вести себя» даже лучше людей. В стрессовых условиях (например, под обстрелом) люди могут столкнуть толстяка, совершив действие, о котором потом, поразмыслив, они могут пожалеть. «Решениям» машины не будет мешать выброс адреналина.

Единственное (!), в чем создатели программного обеспечения должны достичь согласия, так эта сама суть моральных правил…

Часть III Сознание, мозг и вагонетка

Глава 12 Иррациональное животное

Я могу рассчитать движение небесных тел, но не безумие людей.

Исаак Ньютон

Я ни в коей мере не вступлю в противоречие с разумом, если предпочту, чтобы весь мир был разрушен, тому, чтобы я поцарапал палец.

Давид Юм

Человек становится наиболее щедрым после того, как ему оказан был какой-нибудь особенный почет или когда он немного поел.

Фридрих Ницше

Когда речь заходит о толстяке, философ желает знать ответ на моральный вопрос: должны ли мы столкнуть его вниз, в посмертное существование? Философа интересуют нормативные (или ценностные) вопросы, например вопрос о том, какой жизнью мы должны жить.

Может ли ему помочь ученый? Ученый здесь понимается в широком смысле — это может быть и психолог, и специалист по нейронаукам. В обычном случае ученый интересуется другими, не нормативными, вопросами. Почему мы даем именно те ответы, которые мы даем? Как мы приходим к нашим суждениям? Что влияет на наше поведение? Шотландский просвещенческий философ Давид Юм (1711–1776) был уверен в том, что между фактом и ценностью есть различие, так что никакое описание того, как мы выносим суждение, не сможет определить то, как мы должны судить. В конце концов если бы оказалось, что у всех нас есть предрасположенность к расизму (или по крайней мере к тому, чтобы членов собственной группы ценить больше чужаков), этим бы еще не подтверждалась приемлемость расизма. Однако с некоторых пор ученые начали исследовать проблему вагонетки и некоторые из них утверждают, что отдельные эмпирические открытия имеют нормативное значение.

Хлеб и шум