Магелланово Облако

Я шел с Гообаром к центру зала. Мы пробирались по узкому проходу. Все поднимались навстречу Гообару, улыбались, приглашали за свои столики. Он остановился, не зная, за какой из столиков сесть. Я был доволен тем, что и на меня, как на спутника Гообара, падает частица этой симпатии и уважения, хотя я и не заслужил их.

От столика, за которым тесным кружком сидела молодежь, махая рукой, меня звал Нильс Ирьола.

Я подошел к столику. Около него собралась большая группа людей. Молодежь окружила трех специалистов по кибернетике. Среди них своим атлетическим сложением выделялся руководитель коллектива Тембхара. Я попал в разгар самой горячей дискуссии и услышал заключительную фразу стройного юноши:

— Почему же нельзя использовать автоматы при высадке на неизвестную планету? Говорят, что первые ракеты на такую планету поведут люди.

— Да, к сожалению, это так, — ответил Тембхара. — Тебе ведь известна поговорка: автоматы точны, но ограниченны, люди же хотя и не точны, но не страдают ограниченностью! Дело в том, что для автоматов характерна так называемая «направленная узость оценки обстановки». Автомат всегда несколько односторонен, потому что создан для выполнения определенных заданий. А на чужой планете он может встретиться с незнакомыми ему существами и попасть в такое положение, которое нельзя заранее предусмотреть. Если послать туда автоматы, они могут подвести нас и вызвать своими действиями опасную обстановку.

— Что же такое они могут натворить? Я не понимаю.

— Они могут поступить, как психически больной человек, — сказал Тембхара. — Чтобы объяснить это, приведу пример из старого учебника кибернетики. Этот пример имеет лишь историческое значение, но может служить хорошей иллюстрацией к тому, о чем я говорю. Это, собственно говоря, сказка. У одного человека квартира была завалена старыми глобусами и негодными кувшинами. Он поручил автомату убрать весь этот хлам, сказав следующее: «Выбрось отсюда все шарообразные предметы». Послушный автомат, слишком дословно поняв приказ, вынес весь хлам, а заодно сорвал с шеи голову этого человека: он расценивал ее лишь как шарообразный предмет, который тоже следует выбросить.

— Но это чепуха!

— Этого не могло случиться!

— Автомат не может причинить вред человеку! — хором воскликнули окружающие.

— Конечно, эта история не могла произойти в действительности, и я привел ее лишь как яркий пример того, что можно было бы назвать «недоразумением» между человеком и автоматом. Для нас многое подразумевается само собой, а для автомата нет ничего очевидного, кроме того, что вложил в него его конструктор. Наши автоматы, например, снабжены приспособлениями, предотвращающими возможность их самоуничтожения, и предохранителями, которые делают невозможным нанесение какого-либо вреда человеку. Но в совершенно новой, не предусмотренной их конструктором обстановке, в условиях чужой планеты, они могут наделать много зла. Помимо этого, есть еще одно затруднение этического порядка: нам, наверное, не понравилось бы, если бы обитатели другой планеты прислали на Землю группу машин с задачей определить, стоит ли завязывать с людьми добрососедские отношения. — Тембхара усмехнулся, его зубы сверкнули.

— Скажи, профессор, — спросила какая-то девушка, — это ты спроектировал гироматы?

— Да. Вернее, я принимал участие в проектировании некоторых из них.

— А профессор Аверроес говорил на лекции, что такой гиромат строится вообще без проекта. Как это возможно? Объясни нам, если можешь.