Искусственный интеллект

Этот аргумент о громадности призового фонда основан на предположении, что предпочтения являются ресурсно-насыщенными40. Это не обязательно так. Например, есть несколько известных этических теорий — включая особенно агрегированные консеквенциалистские, — с которыми соотносятся нейтральные к риску и линейные по ресурсам функции полезности. Имея миллиард галактик, можно создать в миллиард раз больше счастливых жизней, чем имея одну. То есть с утилитарной точки зрения это в миллиард раз лучше41. То есть функции предпочтения обычных эгоистичных людей, похоже, относительно ресурсно-насыщаемые. Последнее замечание нужно дополнить двумя важными уточнениями.

Первое: многих людей беспокоят рейтинги. Если множество агентов захотят возглавить список богатейших людей мира, никаких мировых запасов не хватит, чтобы удовлетворить каждого.

Второе: постпереходная технологическая база, возможно, позволит превращать материальные ресурсы в беспрецедентно широкий спектр продуктов, включая такие, которые недоступны сейчас ни за какие деньги, хотя и высоко ценимы многими. Миллиардеры не живут в тысячу раз дольше миллионеров. В эпоху цифрового разума, однако, миллиардеры смогут позволить себе в тысячу раз большую вычислительную мощность и соответственно проживать субъективно в тысячу раз более долгую жизнь. Точно так же окажется доступной за деньги и ментальная мощность. В таких обстоятельствах, когда экономический капитал можно будет конвертировать в жизненно важные товары по постоянному курсу даже на очень высоком уровне богатства, неограниченная жадность обретет гораздо больший смысл, чем в современном мире, где богачи (лишенные филантропических черт) озабочены приобретением самолетов, яхт, коллекций предметов искусства, бесчисленных резиденций — и на все это тратятся целые состояния.

Значит ли это, что эгоист должен нейтрально относиться к риску, связанному с его обогащением в постпереходный период? Не совсем. Может так получиться, что физические ресурсы не будут конвертироваться в жизни или ментальную мощность в произвольных масштабах. Если жизнь должна быть прожита последовательно, чтобы наблюдатель помнил прошлые события и ощущал последствия сделанного когда-то выбора, тогда жизнь цифрового мозга не может быть продлена произвольно долго без использования все возрастающего количества последовательных вычислительных операций. Но законы физики ограничивают степень, до которой ресурсы можно трансформировать в последовательные вычисления42. Пределы возможностей последовательных вычислений могут также довольно сильно ограничить некоторые аспекты когнитивной эффективности, которая не сможет расти линейно в соответствии с быстрым накоплением ресурсов. Более того, совершенно неочевидно, что эгоист должен быть нейтрален к риску даже в случае очень релевантных показателей успеха, скажем, количества скорректированных на качество субъективных лет жизни. Если будет стоять выбор между гарантированными дополнительными двумя тысячами лет жизни и одним к десяти шансом получить дополнительно тридцать тысяч лет жизни, думаю, большинство людей выберут первое (даже при условии, что все годы будут одинакового качества)43.

В реальности аргумент, что с точки зрения здравомыслия предпочтительнее более широкое распределение благ, вероятно, имеет субъективный и зависящий от ситуации характер. Хотя в целом люди с большей вероятностью получили бы (почти все), что они хотят, если удастся найти способ обеспечить широкое распределение благ, — и это верно даже без учета того, что обязательство такого распределения подстегнет сотрудничество и тем самым снизит шансы экзистенциальной катастрофы. То есть широкое распределение благ представляется не только этически необходимым, но и выгодным.

Есть и другое следствие сотрудничества, которое нельзя не отметить хотя бы вскользь: это возможность того, что степень сотрудничества в преддверии перехода повлияет на степень сотрудничества после него. Предположим­, что человечество решило проблему контроля. (Если проблема контроля не решена, степень сотрудничества в постпереходный период будет значить пугающе много.) Тогда нужно рассмотреть два случая.

Случай первый: взрывное развитие искусственного интеллекта не создаст ситуацию типа «победитель получает все» (предположительно потому, что взлет окажется сравнительно медленным). В этом случае можно допустить, что если степень сотрудничества в преддверии перехода как-то повлияет на степень сотрудничества после него, то это влияние будет положительным и стимулирующим. Сложившееся сотрудничество сохранится и продолжится после перехода, кроме того, совместные усилия, предпринятые до перехода, позволят направить развитие в желательном направлении (и предположительно, открывающем возможности для еще более тесного сотрудничества) после него.