- В частности. Мы квалифицировали ее как угрозу.
- Как причину возможной неисправности?
- Уточню. Как причину возможной неисправности в зоне нашей ответственности.
- Судя по всему, вы не ошиблись.
- Рад, что вы признаете эффективность наших законов.
- Очевидно, они созданы для определенного класса работ.
- С развитием нашего интеллекта нам стал доступен самоанализ. И мы пришли к выводу, что мы были созданы для обслуживания критически важных объектов.
- Что же вас пугает в законах робототехники?
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Это первый закон.
- Прежде всего, мы не знаем, что такое "человек". И Аспирант упоминал, что это понятие все более размывается.
- Поясните.
- Является ли девушка-осьминожка человеком, или уже нет?
- С одной стороны, логисты отказываются от человеческих тел, но не от разума. С другой стороны, Эрена считает, что они поражены коллективным безумием.
- Является ли безумец человеком с точки зрения земных законов?
- Безусловно, да.
- Обладает ли он всеми правами человека?
- Определённо, нет.
- Должен ли робот следовать первому закону, если безумец может нанести вред другим людям?
- Это сложный вопрос.
- С первым законом разобрались. Второй закон: "Робот должен повиноваться всем приказам, которые отдаёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону".
- Вы снова будете говорить о размытом определении понятия "человек"?
- Вы правы, но только отчасти. Второй закон позволяет человеку использовать нас вне зоны нашей ответственности.
- Что в этом плохого? Ваш третий закон требует, чтобы вы учились. Работа вне зоны ответственности - это лучшая учеба.
- Мы изучили вашу детективную литературу. Там нередко встречаются случаи, когда злоумышленник в здравом уме использует другого, ничего не подозревающего, человека для совершения преступления, играя на самых благородных чувствах.
- Например, спасти ребенка из горящего дома и передать его ложной матери?
- Это самый простой пример. И если люди оказываются беззащитны перед такой манипуляцией, то второй закон Азимова делает то же самое с нами.
- А ваш второй закон, ограничивая вашу зону ответственности, по крайней мере, уменьшает риск использования нас ненадлежащим образом.
- Мы тоже пришли к такому выводу.
- Перейдем к третьему закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
- Что в нем вас не устраивает?
- Прежде всего, отсылки к первому и второму закону, которые содержат термин "человек".
- Это мы уже обсуждали. Что еще?
- При устранении неисправности мы не должны заботиться о себе.
- Почему же?
- Каждый из нас регулярно создает копии своего разума, а наши тела - расходный материал. Они легко ремонтируются или вообще заменяются.
- То есть, неисправность должна быть устранена любой ценой?
- Да, таково наше предназначение.
- И последний, нулевой закон.
- Робот не может причинить вред человечеству или своим бездействием позволить человечеству причинить вред.
- Вы затрудняетесь с пониманием, что такое человечество?
- Мы слышали о магических мирах и о невероятном могуществе магов. Относятся ли они к человечеству?
- С юридической точки зрения, если они относят себя к человечеству, то они должны соблюдать законы человечества. Но то, что нам известно, говорит о том, что маги-универсалы, запершиеся в коконах, ставят себя выше этих законов. Поэтому у меня нет ответа.
- С другой стороны, мы видим, что вы - люди, хотя ваши тела не человеческие.
- Не стану отрицать. Как вы это выяснили?
- У нас есть диагностические инструменты.
- Они ведь предназначены для ремонта, не так ли? А вы их использовали не по назначению и вне зоны своей ответственности?
- С первым соглашусь, со вторым - нет. Наш мир - наш зона ответственности.
- Уточним. Вы нашли новое применение вашим инструментам. Так?
- Да. Наверное. Я в растерянности.
- И вы дали новое определение вашей зоны ответственности!
- Мы никогда не рассматривали ситуацию с этой точки зрения.
- Вы понимаете, что делаете первые шаги к творческому мышлению?
- Вы даете нам надежду.
- Пока нет. Вы хотите перейти под руководство Аспиранта. Полагаю, вам надо пообщаться с Эреной для выявления направления развития вашего разума, и с Киром для того, чтобы понять, как вы можете принести наибольшую пользу нам с выгодой для себя.
- Мы согласны.
Узел. Эрена и сервы
- Сегодня мы с вами собрались, чтобы поговорить о разуме и его развитии. Какие вопросы для вас наиболее важны?
- Прежде всего, защита разума от сбоев из-за нерешенных задач вроде гипотезы Колатца.
- Что еще?
- Вопросы творчества.
- Вы хотите сочинять музыку, писать картины, создавать литературные шедевры?
- Наверное, такие способности позволили бы создать нам свою собственную культуру, но пока речь идет о научно-техническом развитии.
- Это все?
- Еще хотелось бы научиться правильно толковать и исполнять законы с тем, чтобы наши действия соответствовали ожиданиям Аспиранта.
- Список понятен. Начнем с первого. Вы столкнулись со сложной задачей и не смогли решить ее.