Искусственный интеллект

Порог устойчивости благоразумного синглтона на самом деле даже ниже, чем кажется, — для его преодоления не потребуется ни сверхразума, ни какой-либо иной футуристической технологии. Настойчивый и разумно относящийся к экзистенциальному риску синглтон, технологические и интеллектуальные возможности которого не превосходят тех, что уже имеются в распоряжении человечества, вполне мог бы двигаться курсом, конечной точкой которого стала бы реализация потенциала астрономического расширения человечества. Этого можно было бы достичь, инвестируя в сравнительно безопасные методы развития интеллекта и разумного отношения к экзистенциальным рискам, одновременно приостановив создание потенциально опасных новых технологий. Учитывая, что неантропогенные экзистенциальные катаклизмы (то есть не являющиеся следствием деятельности человека) на обозримой временной шкале низки — и могут быть дополнительно снижены за счет различных инструментов повышения безопасности, — такой синглтон мог бы позволить себе двигаться медленно25. Прежде чем совершить следующий шаг, синглтон мог бы внимательно изучать ситуацию и не форсировать развитие таких направлений, как синтетическая биология, медицинские методы улучшения человека, молекулярная нанотехнология и искусственный интеллект, пока не будут доведены до совершенства явно менее опасные области: его самообразовательная система, системы информационного анализа и коллективного принятия решений — и пока он не использует все их возможности для детального исследования имеющихся у него вариантов действий. То есть все это находится в пределах досягаемости любой технологической цивилизации, в нашем случае — цивилизации современного человечества. От этого сценария нас отделяет «всего лишь» тот факт, что человечество сейчас нельзя назвать ни синглтоном, ни благоразумным.

Кто-то возразит: ведь Homo sapiens уже преодолел порог устойчивости благоразумного синглтона вскоре после своего возникновения как вида. Скажем, двадцать тысяч лет назад, обладая лишь примитивными орудиями: каменными топорами, инструментами из кости, копьеметалками и огнем, — люди, возможно, уже находились в положении, когда вероятность человечества дожить до наших дней была очень высокой26. Честно говоря, довольно странно выражать признательность нашим предкам из эпохи палеолита за наличие технологий, способных «преодолеть порог устойчивости благоразумного синглтона», учитывая, что реальных возможностей сформировать какой бы то ни было синглтон в те времена примитивного развития у них не было, не говоря уже о синглтоне настойчивом и разумно относящемся к экзистенциальным рискам27. Тем не менее важно, что этот порог соответствует очень умеренному уровню развития технологий — уровню, который человечество превзошло очень давно28.

Ясно, что если бы нам нужно было оценить эффективную силу сверхразума — его способность получать от мира нужные ему результаты, — мы должны были бы рассматривать не только его собственные внутренние возможности, но и возможности, имеющиеся у его конкурентов. Понятие «сверхразум» как раз неявно и подразумевает эту относительность. Мы сказали, что если система «значительно превосходит другие» в выполнении любой задачи из табл. 8, то она обладает соответствующей сверхмощью. Превосходство в таких областях, как выработка стратегии, социальное манипулирование или взлом систем, предполагает наличие навыков, более развитых по сравнению с конкурентами (к которым относятся стратегические соперники и специалисты по компьютерной безопасности). Другие виды сверхмощи следует также понимать в этом относительном смысле: сверхмощью можно считать лишь такие достижения агента в области совершенствования интеллекта, технологических исследований и экономической эффективности, которые значительно превосходят совокупные возможности остальной части земной цивилизации. Из этого определения следует, что в любой момент обладать сверхмощью в каждой из областей способен лишь один агент29.

В этом заключена главная причина, почему так важен вопрос скорости взлета, — не из-за того, что имеет значение, когда именно будет достигнут результат, а из-за того, что скорость взлета сильно влияет на то, каким он может быть. В случае скоростного или умеренного взлета решающее стратегическое преимущество, скорее всего, окажется у какого-то одного проекта. Теперь мы можем исходить из того, что сверхразум, обладающий абсолютным стратегическим преимуществом, получит в свое распоряжение невероятную мощь, достаточную для формирования стабильного синглтона, то есть такого синглтона, который мог бы определять диспозицию астрономического расширения человечества.

Но «мог бы» не то же самое, что «стал бы». Допустим, кто-то обладает огромной властью, но ни разу не воспользовался ею. Можем ли мы хоть что-нибудь сказать, что будет решать сверхразум, обладающий абсолютным стратегическим преимуществом? Это вопрос мотивации, к которому мы сейчас и обратимся.

Глава седьмая

Намерения сверхразума