Роботы-убийцы против человечества

Управление и контроль в человеко-машинных системах

Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.

Автономность как сложность

Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.

Тип автоматизированных функций