Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Умышленно дурацкий пример со скрепками для бумаги и оптимизацией их производства в качестве цели для сверхразума был придуман Ником Бострёмом в 2003 году, чтобы показать: цель искусственного интеллекта не зависит от самого интеллекта (определяемого как способность к достижению любой поставленной цели, какова бы она ни была). Единственная цель шахматного компьютера — выигрывать в шахматы, но проводятся компьютерные состязания в шахматные поддавки, и тогда цель компьютера прямо противоположна, но для достижения ее требуется не меньше «ума», чем обычному шахматному компьютеру, запрограммированному на победу. Мы, люди, можем рассматривать стремление к проигрышу в шахматы или к оптимизации производства скрепок как примеры искусственного идиотизма, а не искусственного интеллекта, но это так только потому, что мы сами эволюционировали с уже предустановленной системой ценностей, в которую изначально была заложена цена таких вещей, как победа или выживание, но искусственному интеллекту она может оказаться неведома. Производитель скрепок стремится превратить в скрепку как можно больше атомов, находящихся на Земле, и быстро начинает строить свои фабрики и в космосе. Он ничего не имеет против людей, но убивает нас просто потому, что нуждается в наших атомах для своих скрепок.

Если пример со скрепками не для вас, давайте рассмотрим другой, который я позаимствовал из книги Ганса Моравеца Mind Children. Мы получаем от внеземной цивилизации радиопослание, содержащее компьютерную программу. Когда мы запускаем ее, выясняется, что это рекурсивно самосовершенствующийся искусственный интеллект, который быстро захватывает Землю, примерно так же, как Прометей в предыдущей главе — с той только разницей, что ни единому человеку не известно о его целях. Он быстро превращает всю Солнечную систему в гигантскую стройплощадку, покрывая скалистые планеты и астероиды заводами, электростанциями и вычислительными центрами, которые он использует для проектирования и возведения дайсоновской сферы вокруг Солнца — вся солнечная энергия собирается для питания радиоантенн размером с Солнечную систему[35]. Разумеется, вся эта деятельность приводит к полному истреблению людей, но последние из живущих умирают с проблеском надежды, что, какова бы ни была цель этого искусственного интеллекта, происходит что-то грандиозное, вроде как в Star Trek. Им и в голову не приходит, что вся эта грандиозная стройка затеяна с единственной целью — передать в космос то же самое сообщение, которое в самом начале истории получили люди. Все это не более чем космическая вариация компьютерного вируса. Точно так же, как фишинговая рассылка проводится в расчете на доверчивость интернет-пользователей, это сообщение рассчитано на доверчивость биологически развитых цивилизаций. Его создали миллиарды лет назад ради прикола, и хотя его создатели вместе со всей своей цивилизацией давно уже вымерли, оно все продолжает путешествовать по космосу со скоростью света, превращая цветущие цивилизации в груду мертвых обломков. Как вам понравится перспектива быть завоеванным таким искусственным интеллектом?

Благодарные потомки

Давайте теперь обратимся к сценарию с вымиранием человечества, который кое-кому может показаться менее травмирующим: посмотрим на приходящий на смену человеку искусственный интеллект как на потомка, а не на завоевателя. Ганс Моравец поддерживает такой взгляд в своей книге Mind Children: «Их работа будет приносить и нам свои плоды, но лишь какое-то время. Рано или поздно они, как и естественные дети, отправятся на поиски своего счастья, а мы, их стареющие родители, будем постепенно молчаливо увядать».

Родители, чье чадо стало умнее их, всему у них научилось, но добилось такого, о чем они могли только мечтать, должны быть горды и счастливы, даже если понимают, что не смогут увидеть всех удач своего ребенка. Схожим образом машины с искусственным интеллектом, приходя на смену людям, стараются сделать так, чтобы мы увидели в них своих достойных и благодарных потомков. Каждому человеку выдается на воспитание прелестное робо-дитя, с превосходными социальными навыками, которое учится у них, перенимает их ценности, дает им основания гордиться своим чадом и почувствовать исходящую от него любовь. Люди постепенно сходят со сцены благодаря глобальной политике «одна семья — один ребенок», но окружены при этом такой любовью, что чувствуют себя счастливейшим из поколений.

Как вам такое? Что бы вы почувствовали? В конце концов, мы, люди, уже привыкли к мысли, что рано или поздно и сами мы, и все, кого мы знаем, покинут этот мир. Единственное изменение в новом сценарии состоит в том, что наши «потомки» будут несколько больше отличаться от нас, но зато, вероятно, окажутся более способными, благородными и достойными.