«Это самая безопасная машина на рынке, – начал Райан – Самая безопасная машина из когда-либо созданных». Затем он рассказал историю о том, как NHTSA проводило краш-тест Tesla и не могли ее разбить. «Они пытались перевернуть ее и не смогли – им потребовался автопогрузчик. Мы проводили краш-тест, в котором машина врезается в стену, – и сломали стену. На машину роняли грузы и разбили их тоже. Тестового оборудования испортили больше, чем машин».
Мы проехали мимо другой Tesla в Гринвич-Виллидж и помахали водителю. Так поступают водители Tesla – приветствуют друг друга. А если ехать по шоссе в Сан-Франциско, рука устанет махать.
Райан постоянно ссылался на Илона Маска, которого однозначно окружает культ личности, доселе незнакомый ни одному автомобильному дизайнеру. Кто спроектировал Ford Explorer? Я не имею понятия. Но даже мой сын знает, кто такой Илон Маск. «Он известный, – сказал он. – Он даже был приглашенным героем в “Симпсонах”».
Мы припарковались и сфотографировались с сыном на фоне блестящей белой машины с поднятыми дверями. Затем мы вернулись к нашему автомобилю. «Теперь он кажется таким старым», – произнес мой сын. Домой мы ехали по шоссе Вест-Сайд, затем по вымощенной камнем Кларксон-стрит. Мы тряслись и подскакивали на каждом камне. Ощущения были радикально противоположными от езды на Tesla. Я снова чувствовала едва уловимые вибрации. Это было так, будто я пошла в Le Bernadin[123] на ланч и, вернувшись домой, поняла, что съела там лишь хот-доги.
Tesla – превосходный автомобиль. Но я скептично настроена относительно ее беспилотных возможностей. Частично это обусловлено тем, что этику для роботов очень трудно сформулировать. Этическая дилемма, связанная с проблемой вагонетки, философское упражнение. Представьте, что по рельсам несется вагонетка к толпе людей. Вы можете переключить стрелку и тогда собьете одного человека. Что выбрать в такой ситуации: совершенно точную смерть одного или нескольких? Для решения этой задачи и его последующего внедрения в программное обеспечение Google и Uber наняли философов. Это не сработало. В октябре 2016 г. Fast Company сообщила, что ПО Mercedes запрограммировано только на спасение водителя и пассажиров[124]. Это не очень хорошая идея. Представьте, что такая машина направляется прямо в толпу детей на автобусной остановке, а рядом с ними – дерево. Компьютер Mercedes решит наехать на толпу, а не врезаться в дерево, поскольку такая стратегия, вероятнее всего, гарантирует спасение водителя – независимо от того, что сам водитель предпочтет врезаться в дерево ради спасения жизни детей.
Представим обратный сценарий: система запрограммирована пожертвовать водителем и пассажирами в пользу случайных прохожих. Повезете ли вы в такой машине своего ребенка? Разрешите кому-либо из своей семьи поехать в ней? Захотите ли вы оказаться на одной дороге или на тротуарах, проехать на велосипеде рядом с автомобилями без водителей с сомнительной программой, настроенной на убийство вас или водителя? Доверяете ли вы неизвестным вам программистам, которые принимают такие решения за вас? В беспилотных автомобилях смерть – это одна из характеристик, а не баг.
Проблема вагонетки – классический учебный пример компьютерной этики. Многие проектировщики решают дилемму неудовлетворительно. «Если вы знаете, что можете спасти хотя бы одного человека, то стоит спасти его. Спасти того, кто в машине», – сказал в интервью для
Следуя примеру Минского и предыдущих поколений, разработчики не задумываются о последствиях применения принятых дизайн-решений. А следовало бы. Инженеры, разработчики, ученые в области компьютеров почти не имеют этической подготовки. У Ассоциации вычислительной техники (ACM), самой профессиональной структуры в этой области, есть собственный этический кодекс. В 2016 г. он был пересмотрен впервые с 1992 г. Напомню, что интернет стал доступен для массового использования в 1991 г., а в 2004 г. появился Facebook.