Как работает мозг

Первая модель, «Самаритянин-1», прыгала за борт с величайшей охотой, но прыгала ради спасения любого предмета, оказавшегося рядом с ней на плоту, от чугунной болванки до мешка мокрых водорослей. После многонедельных жарких препирательств Мак-Интош согласился, что недескриминированная реакция – явление нежелательное, забросил «Самаритянина-1» и сконструировал «Самаритянина-2», который жертвовал собою ради организма хотя бы уж не менее сложного, чем он сам.

Плот замер, медленно раскручиваясь в нескольких метрах над водой.

– Пошел! – крикнул Мак-Интош.

Плот ударился о воду с отрывистым всплеском, похожим на выстрел. Синсон и «Самаритянин» не дрогнули. Постепенно плот выровнялся, его начали захлестывать небольшие волны. Вдруг «Самаритянин» подался вперед и ухватил Синсона за голову. Четырьмя экономными движениями он измерил габариты Синсонова черепа, затем помедлил, вычисляя. Наконец, после заключительного щелчка, автомат боком скатился с края плота и без колебаний затонул на дне резервуара[19].

Однако по мере того, как роботы модели «Самаритянин-2» начинают вести себя как описываемый в книгах по философии моральный агент, становится все менее и менее очевидным, что они вообще обладают моралью. Мак-Интош так объясняет, почему он не привязывает канат к готовому пожертвовать собой роботу, чтобы его было легче достать со дна: «Он не должен знать, что его спасут. Иначе решимости жертвовать собой грош цена Поэтому время от времени я кого-нибудь не выуживаю, оставляю на дне. Надо же показать остальным, что я не расположен шутки шутить. Двоих уже списал на этой неделе». Попытки разобраться, как запрограммировать робота быть хорошим, показывают не только, какой сложный для этого требуется механизм, но и как сложно вообще определить само понятие добродетели.

А как же мотив, который заботит людей больше всего остального? Поп-культура 1960-х подарила нам образ мягкосердечных компьютеров, которых привлекает отнюдь не тщеславие и жажда власти, как видно из шутливой песни Аллана Шермана «Автоматы» (Automation), исполнявшейся на мотив Fascination:

Автоматы во всем виноваты, о да,
На любом производстве без них никуда.
Там, глядишь, «Ай-би-эм», ну, а здесь – «Юнивак»;
Механизм безупречен: тик-так, тик-так.
Был и я интеллектом машин восхищен,
Но тебя заменил автомат в 10 тонн…
Нас компьютер, родная, с тобой разлучил,
Это он мое сердце разбил…
Да, родная моя, автомат В увольненьи моем виноват.
Но откуда же было мне знать,
Что когда Пять-Ноль-Три начал резво мигать,
Он со мною пытался играть!
Я подумал, что это в программе ошибка:
Он же мне на колени уселся с улыбкой!
Но когда он сказал мне «люблю» и обнял,
Вот тогда я на «выкл» и нажал… [20]