Сердце машины. Наше будущее в эру эмоционального искусственного интеллекта

Возможно, мы выходим на новое поле битвы. Будет ли такое оружие морально неуязвимым? Из тех же соображений, по которым подозреваемые в совершении преступлений должны быть защищены при допросе с применением эмоциональных машин, допрос шпионов и военнопленных с применением аффективных технологий также может считаться негуманным отношением. Разум человека – самое личное и самое ценное из всего, что ему принадлежит. Вмешательство в него, насаждение ложных воспоминаний и эффективное переписывание самовосприятия практически равносильно уничтожению личности. Можем ли мы прийти к тому, что нам понадобится Женевская конвенция для защиты военнослужащих от аффективных технологий?

Кроме того, государственный режим способен применить подобные технологии против гражданских, даже против собственного народа. Принимая во внимание перспективу вмешательства в психику, в какой момент закончится пропаганда и начнется нарушение прав человека? Эмоциональное программирование приобретает все больше возможностей и применяется все шире, но есть ли способы технической защиты, которые могут остановить или предотвратить подобные нарушения? Или нам придется полагаться лишь на санкции правоохранительных и управляющих органов?

Наконец, как подобные технологии соотносятся с концепцией свободных и честных выборов? Манипулирование эмоциями уже рассматривается как честная игра в битве за политическую власть, но что произойдет, если манипуляциями будут заниматься машины? Машины, которые могут присутствовать где угодно, в любое время, бесцеремонно принуждая и сдержанно увещевая. Насколько свободными и честными будут выборы, если избиратели не будут уверены в собственных чувствах и собственном мнении?

Может ли какая-нибудь из этих ситуаций стать реальностью? Очень просто рассматривать зарождающуюся технологию и исключить подобный сценарий из-за недостатка сложности, вычислительных мощностей или субъективной ценности. Однако, как уже упоминалось, развитие технологий в геометрической прогрессии означает, что совсем скоро эмоциональное программирование может превратиться в радикально новый источник власти. Закон Мура, закон Крайдера, закон Меткалфа и прочие закономерности отмечают, что многие аспекты мира, созданного человеком, совершенствуются в геометрической прогрессии. У нас нет оснований полагать, что развитие эмоционального программирования будет происходить иначе.

Как видим, при неправильном использовании перспективная технология может наделать дыр в нашем социальном полотне. Проблемы достаточно масштабны и имеют множество нюансов, которые стоит продумать и обсудить. Поскольку однозначные решения в этой книге не рассмотрены, кажется разумным начать дискуссию именно сейчас, пока есть время повлиять на развитие эмоциональных машин.

Глава 11 Кто же будет заботиться?

Учреждение комплекса RSL Саге, Брисбейн, Австралия – 18 апреля 2011 года

В тихом приюте в Брисбейне без движения и без звука сидит старичок и разглядывает ковер под ногами. Восьмидесятидвухлетний Томас страдает прогрессирующей старческой деменцией. Уже больше двух лет он не произносил ни слова. Когда Томас поступил в дом престарелых, персонал пытался с ним общаться и как-то расшевелить, но безуспешно. Неудивительно, что со временем сотрудники все реже пытались наладить со стариком хоть какой-то контакт.

Томас не замечает, как санитар проводит в комнату отдыха женщину средних лет. Женщина подходит к Томасу и присаживается на корточки рядом с его стулом. Томас глядит в пол.

– Здравствуйте, Томас, – мягко произносит она. – Как вы себя чувствуете сегодня?

Томас продолжает рассматривать ковер отсутствующим взглядом. Женщина достает из-за спины что-то похожее на большую мягкую игрушку – тюлененка. Она держит игрушку перед Томасом.

– Хотите познакомиться с Милли, Томас? Милли говорит «Привет».

Милли поворачивает голову, открывает глаза и подмигивает Томасу. Женщина подносит тюлененка к плечу Томаса. Когда тюлененок утыкается носом Томасу в шею, глаза старика широко открываются. Схватив игрушку обеими руками, Томас держит ее перед собой и смотрит в большие темные глаза тюлененка. Взгляд Томаса становится уже не таким отсутствующим.

Развитие технологий в геометрической прогрессии означает, что совсем скоро эмоциональное программирование может превратиться в радикально новый источник власти.