Футурология

В 1940-е годы Айзек Азимов в рассказе «Хоровод» впервые написал о проблеме возможной враждебности (недружественности) ИИ и предложил для ее решения «Три закона робототехники».

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Согласно этим законам, обоснованием безопасности человека является неспособность робота причинить вред, однако само понятие «вреда» никак не определено.

Если нет четкого определения, что такое вред и что такое благо для человека, ситуации с ИИ могут быть непредсказуемыми. Например, если некий ИИ познакомить с религиозными представлениями о мире, он может прийти к выводу, что высшим счастьем для людей является рай, и умертвить человечество, чтобы все души попали на небеса.

Поскольку Азимов никак не определил, что для человека может являться благом, а что вредом, его законы робототехники, по сути, являются лишь благими пожеланиями по поводу того, что бы мы хотели от роботов, но не набором инструкций, которые могут к этому результату привести.

Кроме того, законы, пригодные для домашнего робота с пространством компетенции в несколько десятков метров и интеллектом как у слуги, непригодны для всемирного сверхчеловеческого ИИ, способного предвидеть и планировать на десятки лет вперед.

Наилучшим сценарием нам представляется интеграция людей в единый интеллект, поскольку это позволит сохранить и развить ценности максимально большого числа людей. Однако другой возможный сценарий — это создание независимой от человека компьютерной программы, обладающей интеллектом, который превосходит человеческий.

Вероятно, оба этих направления будут развиваться параллельно и интегрироваться. Однако главным вопросом в отношении сверх-интеллектуальной машины является ее система целей — как сделать, чтобы она служила человеку и не причиняла ему вреда.

Нетривиальность этого вопроса состоит в том, что невозможно предсказать поведение сверхинтеллектуальной машины, поскольку то, что нам кажется удачной системой целей и команд, может привести к чудовищным непредусмотренным последствиям. Юдковски пишет, что он рекомендует любому, кто впервые услышал об этой проблеме, подумать 72 часа до того, как предлагать ее решения.

Примером опасной системы команд может служить такой анекдот: астронавт попросил робота удалить из комнаты все круглые предметы, и тот оторвал ему голову.

Хорошая система целей для ИИ должна не требовать буквального послушания, а следовать принципу: «Делай то, что я имею в виду, а не то, что я сказал буквально».

Проблема дружественного ИИ не имеет общепризнанного решения. Многие исследователи ИИ вообще эту проблему игнорируют, считая, что займутся ею только после решения задачи моделирования мышления. Однако многие предлагаемые архитектуры ИИ менее приспособлены к следованию заранее заложенным правилам.

Конечно, можно смоделировать максимально точно обычного человека, и в этом случае его этика будет нам понятна. Но если мы создадим ИИ, способный к саморазвитию, необходимо сделать так, чтобы он сохранял свою систему ценностей неизменной в ходе самоапгрейда.

С безопасностью ИИ связано много заблуждений.

Некоторые полагают, что достаточно отключить разбушевавшийся ИИ от питания. Однако это не поможет. ИИ сначала «утечет» в Интернет, а потом только даст знать, что с ним что-то не так. До этого он будет притворяться правильным, если в него заложен закон самосохранения.

Другие считают, что ИИ может быть опасен только там, где есть компьютерные сети, по которым он может распространяться. Однако ИИ, который превосходит человека, сможет манипулировать и управлять людьми с помощью денег, угроз и обмана. Кроме того, он может создать собственную производственную инфраструктуру, например, вырастив подчиненное себе биологическое существо, способное к быстрой репликации. Сверхчеловеческий ИИ может иметь много других способов установить свою власть за Земле, если он этого захочет.

Некоторые полагают, что любой разум должен быть по природе своей добр или что с ним можно договориться, или у ИИ не будет общих точек пересечения с людьми, так как он будет осваивать космос.

Однако представим себе такую гипотетическую ситуацию: некий ученый создал ИИ и заложил в него следующую задачу: посчитать число  с максимальной точностью. Такой интеллект поймет, что наиболее эффективно он может решить эту задачу, только если превратит все вещество Земли в новые компьютеры. Для этого ему надо захватить власть на Земле, уничтожить людей, чтобы они ему не мешали, и потратить все вещество Земли на выполнение этой бессмысленной задачи. При этом он может понимать, что эта задача бессмысленна, но его система целей будет настолько жестко закреплена, что не позволит ее модифицировать.