Искусственный интеллект. Этапы. Угрозы. Стратегии

Значит ли это, что эгоист должен нейтрально относиться к риску, связанному с его обогащением в постпереходный период? Не совсем. Может так получиться, что физические ресурсы не будут конвертироваться в жизни или ментальную мощность в произвольных масштабах. Если жизнь должна быть прожита последовательно, чтобы наблюдатель помнил прошлые события и ощущал последствия сделанного когда-то выбора, тогда жизнь цифрового мозга не может быть продлена произвольно долго без использования все возрастающего количества последовательных вычислительных операций. Но законы физики ограничивают степень, до которой ресурсы можно трансформировать в последовательные вычисления[575]. Пределы возможностей последовательных вычислений могут также довольно сильно ограничить некоторые аспекты когнитивной эффективности, которая не сможет расти линейно в соответствии с быстрым накоплением ресурсов. Более того, совершенно неочевидно, что эгоист должен быть нейтрален к риску даже в случае очень релевантных показателей успеха, скажем, количества скорректированных на качество субъективных лет жизни. Если будет стоять выбор между гарантированными дополнительными двумя тысячами лет жизни и одним к десяти шансом получить дополнительно тридцать тысяч лет жизни, думаю, большинство людей выберут первое (даже при условии, что все годы будут одинакового качества)[576].

В реальности аргумент, что с точки зрения здравомыслия предпочтительнее более широкое распределение благ, вероятно, имеет субъективный и зависящий от ситуации характер. Хотя в целом люди с большей вероятностью получили бы (почти все), что они хотят, если удастся найти способ обеспечить широкое распределение благ, — и это верно даже без учета того, что обязательство такого распределения подстегнет сотрудничество и тем самым снизит шансы экзистенциальной катастрофы. То есть широкое распределение благ представляется не только этически необходимым, но и выгодным.

Есть и другое следствие сотрудничества, которое нельзя не отметить хотя бы вскользь: это возможность того, что степень сотрудничества в преддверии перехода повлияет на степень сотрудничества после него. Предположим, что человечество решило проблему контроля. (Если проблема контроля не решена, степень сотрудничества в постпереходный период будет значить пугающе много.) Тогда нужно рассмотреть два случая.

Случай первый: взрывное развитие искусственного интеллекта не создаст ситуацию типа «победитель получает все» (предположительно потому, что взлет окажется сравнительно медленным). В этом случае можно допустить, что если степень сотрудничества в преддверии перехода как-то повлияет на степень сотрудничества после него, то это влияние будет положительным и стимулирующим. Сложившееся сотрудничество сохранится и продолжится после перехода, кроме того, совместные усилия, предпринятые до перехода, позволят направить развитие в желательном направлении (и предположительно, открывающем возможности для еще более тесного сотрудничества) после него.

Случай второй: природа взрывного развития искусственного интеллекта поощряет формирование ситуации, когда «победитель получает все» (предположительно потому, что взлет окажется сравнительно быстрым). В этом случае в отсутствие широкого сотрудничества в преддверии перехода, скорее всего, сформируется синглтон — переход совершит всего один проект по сверхразуму, в какой-то момент обеспечив себе решающее стратегическое преимущество. Синглтон по определению представляет собой социальный порядок с высокой степенью сотрудничества[577]. Таким образом, отсутствие сотрудничества в предшествующий переходу период приведет к чрезвычайно активному сотрудничеству после него. По контрасту с этим более высокая степень сотрудничества в ходе подготовки к взрывному развитию искусственного интеллекта открывает возможности для широкого диапазона исходов. Сотрудничающие группы разработчиков могут синхронизировать работу над проектами так, чтобы гарантированно совершить переход вместе и не допустить получения решающего стратегического преимущества ни одному из них. Или вообще объединить усилия и действовать в рамках общего проекта, но отказаться при этом от формирования синглтона. Например, можно представить консорциум стран, которые запускают совместный научный проект по созданию машинного интеллекта, но не дают санкцию на его превращение в сверхмощный аналог ООН, ограничившись поддержанием имеющегося мирового порядка.