Искусственный интеллект. Этапы. Угрозы. Стратегии

Сохраненные состояния [довольно лояльной имитационной модели, тщательно отобранной и проверенной] можно будет размножать миллиарды раз, чтобы получить идеологически монолитную армию, бюрократию и полицию. После короткого периода службы каждая имитационная копия будет заменяться свежей копией того же самого сохраненного состояния, чтобы не допустить ее идеологического смещения. В рамках одной юрисдикции это позволило бы осуществлять невероятно тщательное наблюдение и регулирование — в принципе, можно было бы иметь одну такую исходную копию для всех граждан. С подобным подходом под силу совершить многое: запретить производство оружия массового поражения; ограничить эксперименты с эмуляциями мозга и воспроизводство эмуляторов; принять либеральную демократическую конституцию — или навеки утвердить мерзость тоталитаризма[441].

Чего можно добиться, обладая таким потенциалом? В первую очередь — консолидации власти и даже концентрации ее в руках очень ограниченного числа действующих лиц.

Объединение на договорных началах

Большую пользу в постпереходном многополярном мире способно принести международное сотрудничество. Может быть, нам на самом деле удастся совершить многое. Избавиться от войн и гонки вооружений. Освоить астрофизические источники информации и начать использовать их в оптимальные для человечества сроки. Избежать спешки в деле усовершенствования ИИ и разработки его новых форм, то есть координировать исследования по этим вопросам, анализировать новые идеи и тщательно проверять все проекты. Отложить или остановить работу над теми проектами, в которых заложена потенциальная угроза существования нашей цивилизации. Ввести одинаковые нормы регулирования в глобальном масштабе, включая положения о гарантированных стандартах жизни (которые потребуют некоторых мер контроля над популяциями) и предотвращении эксплуатации и злоупотребления по отношению к имитационным моделям и другим цифровым и биологическим сущностям. Более того, агенты, имеющие ресурсы, вполне удовлетворяющие их ценностные потребности (подробнее об этом будет рассказано в главе тринадцатой), могли бы заключить договор о разделе будущих ресурсов, по которому им была бы гарантирована определенная доля, вместо того чтобы развертывать борьбу за единоличный контроль над ними, рискуя не получить ничего.

Однако потенциальная возможность получить большую пользу от сотрудничества вовсе не означает, что о нем удастся договориться. В современном обществе за счет лучшей координации усилий в общемировом масштабе можно было бы обрести многие блага — наряду с прочим это сокращение военных расходов, прекращение войн, наложение ограничений на чрезмерный вылов рыбы, снятие торговых барьеров, предотвращение загрязнения атмосферы. Тем не менее никто так и не пожинает эти созревшие плоды. Почему? Что мешает нам в полной мере воспользоваться возможностями сотрудничества ради абсолютного общего блага?