Совместимость. Как контролировать искусственный интеллект

Одно из очевидных различий между людьми и рациональными сущностями состоит в том, что в любой отдельный момент мы не делаем выбор из всех возможных первых шагов для всех возможных вариантов жизни. Мы очень от этого далеки. Типичный человек встроен в глубоко укорененную иерархию «стандартных подпрограмм». В общем, мы преследуем ближайшие цели, а не максимизируем предпочтения в отношении будущей жизни, и можем действовать лишь в соответствии с ограничениями стандартных подпрограмм, имеющихся у нас в настоящее время. В данную минуту, например, я печатаю это предложение: я могу выбирать, как продолжить его после двоеточия, но мне никогда не придет в голову задуматься о том, чтобы бросить его писать, а вместо этого прослушать онлайновый курс для рэперов, или сжечь дом и потребовать страховку, или о любом другом из мириад действий, которые я мог бы совершить. Вероятно, многие из них были бы лучше того, что я делаю сейчас, но с учетом моей иерархии обязательств для меня они все равно что не существуют.

Судя по всему, понимание действий человека требует понимания его иерархии стандартных подпрограмм (весьма индивидуальной): какую подпрограмму данный человек выполняет сейчас, какие краткосрочные цели преследуются в рамках этой подпрограммы и какое отношение они имеют к глубинным, долгосрочным предпочтениям. Обобщая, можно сказать, что выяснение человеческих предпочтений требует узнавания реальной структуры человеческой жизни. Каковы все те дела, которыми мы, люди, можем заниматься, поодиночке или вместе? Какие занятия характерны для разных культур и типов индивидов? Это невероятно интересные и серьезные вопросы для исследования. Очевидно, у них нет конкретного ответа, поскольку мы, люди, постоянно пополняем свой «репертуар» новыми видами деятельности и поведенческими структурами. Однако даже частичные и промежуточные ответы были бы очень полезны для интеллектуальных систем всех типов, призванных помогать людям в их повседневной жизни.

Еще одна очевидная особенность действий людей — ими часто движут эмоции. В некоторых случаях это хорошо: такие эмоции, как любовь и благодарность, без сомнения, играют роль в наших предпочтениях, и движимые ими действия могут быть рациональными, даже не являясь в полной мере преднамеренными. В других случаях эмоциональная реакция ведет к действиям, которые даже глупые люди оценивают как не особенно рациональные — разумеется, задним числом. Например, рассерженная Гарриет, в сердцах шлепнувшая заупрямившуюся 10-летнюю Алису, может сразу же пожалеть об этом поступке. Робби, наблюдающий это действие, должен бы (обычно, хотя не всегда) объяснить его злостью и разочарованием, а также недостатком самоконтроля, а не осознанным садизмом ради садизма. Чтобы эта схема работала, Робби должен иметь некоторое понимание эмоциональных состояний человека, включая их причины, развитие во времени в ответ на внешние раздражители и их влияние на действие. Специалисты по нейробиологии начинают постигать принципы некоторых эмоциональных состояний и их связь с другими когнитивными процессами[314], и существует ряд полезных работ по вычислительным методам обнаружения и прогнозирования эмоциональных состояний человека и управления ими[315], но предстоит узнать намного больше. Опять-таки машины находятся в неблагоприятном положении, когда речь идет об эмоциях: они не могут выполнить внутреннее моделирование опыта, чтобы узнать, какое эмоциональное состояние он вызовет.

Эмоции не только влияют на наши действия, но и дают ценную информацию о глубинных предпочтениях. Например, маленькая Алиса отказывается делать уроки, и Гарриет рассержена и разочарована, потому что искренне хочет, чтобы Алиса хорошо училась и смогла устроиться в жизни лучше ее самой. Если Робби наделен способностью это понять — пусть не может испытать это сам, — он очень многое узнает из далеко не рациональных действий Гарриет. Следовательно, появится возможность создать рудиментарные модели эмоциональных состояний человека, достаточные для того, чтобы избегать самых грубых ошибок в суждении о человеческих предпочтениях, исходя из поведения.

Действительно ли у людей есть предпочтения?

Вся эта книга исходит из того, что существуют варианты будущего, которые нам понравились бы, и варианты, которых мы предпочли бы избежать, скажем, наше скорое исчезновение или превращение в фермы живых батареек, как в фильме «Матрица». В этом смысле люди, разумеется, имеют предпочтения. Однако, если погрузиться в детали того, какой люди желали бы видеть свою жизнь, ситуация осложняется.

Неопределенность и ошибка