Может быть, из-за того, что мы переели научно-фантастических историй, мало кто понимает идею сознающей машины правильно. Большинство предполагает, что сознание будет включаться в машине по щелчку тумблера: машина внезапно пробудится, начнет осознавать себя как независимого деятеля, отдельного от остального мира, и немедленно устремится к удовлетворению своих собственных интересов. Она может начать убивать людей, потому что они конкурируют с ней за ресурсы. Машины с такими способностями привели бы к трагедии для человечества. Но плохая новость на самом деле вот в чем. Сверхразумные, автономные, активные машины, которые принимают решения и учитывают свои интересы, уже здесь (по крайней мере, их первые представители), и они стремительно умнеют с каждым днем. Им не нужно сознание, чтобы прийти к выводу, что люди – препятствия на их пути, и поубивать нас. Беспилотный грузовик, имеющий собственную программу действий, может переехать вас – и вы будете в любом случае мертвы независимо от того, получит ли грузовик субъективный опыт хлюпающего звука под его шинами.
Для меня как исследователя сознания вопрос стоит так: что произойдет, если мы добавим дополнительный элемент – модель себя, которая сообщит машине, что подобно тому, как у нее есть субъективный опыт, у других он тоже может быть? Как это изменит социальный баланс?[234]
Думаю, что после этого будущее с разумными машинами станет более обнадеживающим.Люди – всецело социальные животные. Это определяет нас как биологический вид. Но у человека не может быть социальной компетентности без понимания того, что такое сознание, и без способности интуитивно приписывать его другим людям. Способность эта позволяет нам признавать разумность других, понимать мысли и чувства друг друга, тщательно подбирать верные реакции. Это объединяющий людей социальный клей, корневая система социума и сотрудничества.
Представьте себе мир, в котором люди утратили это глубинное, основанное на моделях знание о сознании. Вместо него в нас встроили альтернативную схему. Мы не впали в безразличие подобно людям с тяжелыми повреждениями мозга. Мы все так же в состоянии действовать как автономные существа, учиться, учитывать свои интересы и принимать разумные решения, но все это мы делаем без малейшего понятия о сознании. Мы становимся независимыми сущностями, у каждой из которых есть собственные интересы, а с другими людьми обращаемся как с объектами. Нам не удается по-настоящему сотрудничать, хотя и хватает ума догадаться, что сотрудничество дает преимущества, – но мы больше не способны понимать, что у других людей есть сознание, а значит, и не можем угадывать психические состояния друг друга или координировать наши мысли, цели и действия. Убийство становится столь же обыденным, как отодвигание с дороги препятствия, потому что теперь мы неспособны понять ценность чужого сознания. Мы превращаемся в цивилизацию умных, целеустремленных монстров.
Так выглядит мир несознающих, но умных машин, и этот мир мы создаем прямо сейчас. Я бы предпочел жить в мире машин, которые знают, что такое сознание, и могут приписать его и мне, и другим людям, – равно как сегодня я благодарен за то, что живу в мире, где сознание могут приписывать друг другу люди.
Я не утверждаю, что сознание – чудотворный компонент, и стоит только добавить его в машину, как она станет вести себя этично. Всем известно, что среди нас есть и люди-человеконенавистники, социопаты и агрессоры. Все они обладают сознанием и, наверное, знают, что те, кому они причиняют боль, тоже сознательны. Но это потерянные кусочки огромной мозаики. Они всегда в меньшинстве, поскольку человечество по сути своей – просоциальный биологический вид. Каждый раз, входя в супермаркет, я полагаюсь на то, что окружающие будут более-менее соответствовать социальной матрице. Эволюция дала нам несовершенное, но статистически довольно неплохое решение проблемы социальной слаженности. Именно наше гиперсоциальное мышление удерживает человечество на плаву и отличает нас от менее сговорчивых и более враждебных биологических видов. У этой способности, скорее всего, много разных источников, но она была бы невозможна без внутренней модели, сообщающей нам, что сознание есть и у нас, и у других.
Раз уж мир гонится за созданием машин, подобных человеку разумом и автономностью, а то и превосходящих его по этим параметрам, мне кажется, нам стоило бы дать этим машинам и какие-нибудь очеловечивающие их черты, чтобы у них был шанс интегрироваться с нами. Почему бы не попробовать то же решение проблемы социального сотрудничества, которое эволюция нашла для нас? Если теория схемы внимания верна, то создание искусственного сознания – один из самых полезных шагов, которые мы можем сделать, чтобы снизить технологические риски, грозящие нам в будущем.
Глава 9
Перенос личности на искусственные носители