Журнал «Компьютерра» № 35 от 26 сентября 2006 года

13-я КОМНАТА: Этика машин и механизмов

Автор: Леонид Левкович-Маслюк

В этом номере вы найдете статью о «биржевых роботах» — компьютерных программах, зарабатывающих для своих владельцев деньги на фондовом рынке. Соотношение квалификации электронных и живых трейдеров сейчас такое же, как было у шахматистов и шахматных программ накануне матча Каспарова с Дип Блю. Как известно, тогда победил компьютер. Есть признаки, что и на рынке акций электронные финансисты вот-вот будут доминировать. Особых бед человечеству это вроде бы не сулит — но есть ли «темная сторона» у интеллектуальных успехов машин в других занятиях? В какой еще игре они скоро переиграют нас, — и чем это нам грозит?

Хорошо, что подобные вопросы приходят в голову не только празднолюбопытствующим наблюдателям. О том же думают разработчики и теоретики систем искусственного интеллекта. И не просто думают, а работают над ответными мерами — над защитой от непредсказуемых капризов машинного разума. Пророчества Айзека Азимова с его знаменитыми законами роботехники (помните — «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»?) сбываются в самом прямом смысле. Просматривая свежие издания по ИИ, я обнаружил целую подборку статей, посвященных фантастическому предмету — машинной этике (IEEE Intelligent Systems, July/August 2006, по материалам симпозиума по машинной этике Американской Ассоциации искусственного интеллекта AAAI, состоявшегося прошлой осенью).

С человеческими мерками к компьютерным системам начали подходить давно. Например, обсуждение вопросов о (потенциальных) юридических правах и обязанностях вычислительных машин можно встретить даже в специальных и популярных юридических изданиях, далеких от научной фантастики. Но практика дает все основания для сдержанной тревоги. По исследовательской программе армии США в DARPA полным ходом идут работы по созданию боевых роботов огневой поддержки. Вспомним недавний триумф другой исследовательской программы, гражданской, — автономно управляемый компьютером автомобиль проехал по пересеченной местности 132 мили (можно считать, «площадку сдали», следующий великий вызов — «сдать город»; у нас это легко бы сделал любой финансовый робот, но в Штатах придется идти другим путем). Ну а корейцы поставили перед собой совсем уж амбициозную задачу — к 2010 году обеспечить каждую семью хоть одним роботом. Успехи такого рода проектов и подстегивают исследования по машинной этике — встроенным механизмам защиты людей («и других машин», уточняют пунктуальные авторы) от неадекватного поведения систем, управляемых компьютером.

Главным аппаратом для внедрения этики в цифровые мозги сегодня считается деонтическая логика (deontic logic), которая формализует понятия «обязательно», «разрешено» и т. п. Такие конструкции исследовали еще Аристотель и Лейбниц — а сегодня на основе этого аппарата уже разработана процедура инсталляции «любого заданного множества этических принципов в процедуру принятия решений автономной системы». Вот так, без сантиментов — любого. Прямо как в жизни. Но что особенно восхитительно — исследована и методика компьютерного воплощения (теми же средствами) кантовского «категорического императива», некоей абсолютной нравственности на уровне битов и байтов. Что ж, как и следовало ожидать, принцип «что заложишь, то и получишь» остается в силе.

А стало быть, этика, сведенная к битам и байтам, все-таки не совсем то, чего иногда наивно ждешь от ближнего, да и от самого себя. До азимовских роботов нам всем еще расти и расти.

НОВОСТИ: Лицо и изнанка безопасности

Автор: Киви Берд

Приход новой ОС Microsoft Windows Vista — хоть и неоднократно переносившийся — грядет, как бы там ни было, с неумолимостью смены времен года. Но чем ближе становится эта дата, тем острее ощущается давний конфликт между корпорацией Microsoft и властями объединенной Европы, с помощью антимонопольных механизмов пытающихся то так, то эдак поставить под контроль деятельность софтверного гиганта в странах Евросоюза. Уже пошли разговоры о возможной принудительной задержке вывода новой ОС на европейский рынок, если корпорация и дальше будет артачиться.

Любопытно, что о сути претензий Европы к Microsoft по поводу Vista до сих пор не известно ровным счетом ничего. Руководство корпорации, летом уже обложенное изрядным штрафом в 280 млн. евро за неподчинение решению европейского антимонопольного суда о раскрытии особенностей работы серверных протоколов (помимо первого полумиллиардного штрафа, наложенного в марте 2004 года), сейчас настаивает на получении от ЕС четких инструкций — что можно делать на континентальном рынке, а что нельзя. Евросоюз, в свою очередь, ссылается на отправленный корпорации список из 79 вопросов, которые имеются у Еврокомиссии относительно Vista. В Microsoft же на это заявляют, что нуждаются в ответах, а не формальном списке вопросов…