ИИ-2041. Десять образов нашего будущего

Беспилотному транспорту неизбежно придется принимать решения этического характера, как бы странно это ни звучало. В человеческом обществе такие решения крайне мучительны. Возможно, самая известная этическая дилемма, связанная с транспортной сферой, — так называемая «проблема вагонетки»[81]. Нужно принять решение и выбрать между действием и убийством человека А или бездействием и убийством людей Б и В.

Некоторым кажется, что ответ очевиден — жертв должно быть как можно меньше. Но следующий вопрос: а если человек А — маленький ребенок? А если это ваш ребенок? А если транспортное средство принадлежит вам, а человек А — ваш ребенок?

Сегодня, если водитель-человек становится виновником гибели других людей, он предстает перед судом. В ходе заседания определяется, верно ли действовал водитель, мог ли предотвратить трагедию. Если нет — судьи оценивают тяжесть последствий и назначают наказание.

Но кто ответит, если люди погибнут из-за ИИ? Сможет ли он объяснить свое решение так, чтобы его поняли люди? Будет ли это объяснение приемлемым с юридической и моральной точек зрения? Создать объяснимый ИИ[82] чрезвычайно трудно — ведь он обучается на основе данных. Его реакция — сложное математическое уравнение, которое люди поймут, если только его очень сильно упростить.

Некоторые решения ИИ кажутся нам совершенно бессмысленными (ведь он не знает, что такое здравый смысл), а некоторые человеческие решения кажутся глупыми ИИ (потому что человек принял их, скажем, нетрезвым или сильно уставшим).

Не следует забывать и о других серьезных вопросах и проблемах: как компенсировать лишение средств к существованию миллионам водителей грузовиков? Чем занять миллионы часов, которые высвободятся из-за массового перехода на автономный транспорт?

Допустимо ли использовать сейчас временный, промежуточный ИИ, совершающий ошибки, которых не совершил бы водитель-человек? А если лет через пять, когда ИИ «намотает» миллиарды километров и многократно умножит свой опыт, обучится и сильно улучшится, это позволит вдвое сократить количество смертей на дороге?

И наконец, фундаментальный, принципиальный вопрос — сможем ли мы хоть когда-нибудь позволить машине принимать решения, способные причинить ущерб человеку? Если ответ отрицательный — то идею беспилотных транспортных средств нужно похоронить на корню.

На карте — жизни людей, и все компании, работающие над развитием ИИ, должны действовать максимально осторожно. Тут возможны два подхода, у каждого свои достоинства и недостатки.

Первый — осторожничать, медленно накапливать данные в безопасной среде, избегать смертельных случаев и лишь потом запускать автономный продукт (подход Waymo[83]).

Второй — вывести продукт на рынок, как только ИИ станет относительно безопасным, собрать как можно больше данных, поскольку со временем это сбережет много жизней, даже если вначале будут жертвы (подход компании Tesla).

И что лучше? Самые светлые умы современности пока не пришли к согласию.

А вот еще вопрос на засыпку: кто должен нести ответственность за смертельное ДТП, устроенное автономным транспортным средством? Производитель автомобиля? Провайдер ИИ-алгоритма? Программист, который этот алгоритм написал? Водитель-человек, обеспечивавший поддержку? Очевидного ответа нет, но политикам уже в ближайшее время придется его найти, потому что из истории известно: экосистему вокруг подотчетности и ответственности можно построить только тогда, когда они предельно четкие и ясные.

(Например, ответственность за убытки в результате мошенничеств с пластиковыми картами несет компания, их выпускающая, — не банк, не магазин и не пользователь карты. Именно это решение дало компаниям-эмитентам право взимать плату с других сторон процесса и использовать эти средства для предотвращения мошенничеств, что и привело к созданию соответствующей экосистемы.)

Предположим для примера, что за все ответствен автор софта и что программу, которая привела к смертельному исходу, выпустила Waymo. На какую сумму может подать иск семья погибшего, если у Alphabet, материнской компании Waymo, в наличии более 100 миллиардов долларов? Согласитесь, это непаханое поле для адвокатов, навязывающих свои услуги жертвам несчастных случаев.

Нам остро необходимы законы, которые защитят людей от небезопасного программного обеспечения, но при этом должны быть гарантии, что технический прогресс не остановится из-за непомерных штрафов для тех, кто обеспечивает его софтом.

И наконец, последнее. Сообщения о дорожно-транспортных происшествиях довольно редко попадают в заголовки национальных газет. Но стоило в 2018 году беспилотному автомобилю Uber задавить пешехода в Фениксе, новость не сходила со страниц национальной прессы несколько дней. Система Uber, скорее всего, действительно виновата, но оправданно ли подобное внимание медиа ко всем смертельным случаям в будущем?