Российская Академия Наук

Как описано в главе 9, достаточно сильному ИИ может потребоваться очень короткое время (с человеческой точки зрения), чтобы достичь молекулярной нанотехнологии, или другой формы быстрой инфраструктуры. Теперь мы можем представить себе всё значение того, кто достигнет цели первым в суперинтеллекте. Эффект пришедшего первым состоит в том, что исход возникшей на Земле разумной жизни зависит в первую очередь от особенностей того ума, который первым достигнет определённого ключевого порога интеллектуальности – такого, как критичности (criticality) самоулучшения. Два важных следствия таковы:

- Первый ИИ, который достиг некого критического порога (то есть критичности самоулучшений), будучи неДружественным, может истребить человеческий вид.

- Если первый ИИ, который достигнет этого уровня, будет Дружественным, то он сможет не допустить возникновения враждебных ИИ или причинения ими вреда человеческому виду; или найдёт другие оригинальные пути, чтобы обеспечить выживание и процветание возникшей на Земле разумной жизни.

Более, чем один сценарий соответствует эффекту пришедшего первым. Каждый из следующих примеров отражает другой ключевой порог:

- Пост-критический, самоулучшающийся ИИ достигает сверхинтеллекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивление. Ключевым порогом является критический уровень самоулучшения.

- ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быстрых манипуляторов веществом ИИ-1 может (потенциально) отключить исследования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную черту – побеждает. Ключевым порогом здесь является быстрая инфраструктура.

- Тот ИИ, который первым поглощает интернет, может (потенциально) не допустить в него другие ИИ. Затем, посредством экономического доминирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.

Человеческий вид, Homo sapiens, является финишировавшим первым. С точки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, потому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что пришедшие первыми виды должны были первыми пересечь столь много порогов: речь, технология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект пришедшего первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), но при этом являет собой технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.

Я не могу произвести точных вычислений на основании точно подтверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие интервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, – если резкий прыжок в интеллектуальности не произойдёт. Но гораздо более серьёзной проблемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект пришедшего первым. Это более серьёзная проблема, потому что:

- Более быстро растущий ИИ является более сложной технической задачей.

- Подобно автомобилю, едущему по мосту для грузовиков, ИИ, спроектированный, чтобы оставаться Дружественным в экстремально сложных условиях (предположительно) остаётся Дружественным в менее сложных условиях. Обратное неверно.

- Быстрые скачки в интеллектуальности контринтуитивны с точки зрения обычной социальной жизни. Метафора G-фактора для ИИ является интуитивной, притягательной, заверяющей и, по общему согласию, требующей меньше конструктивных ограничений.

- Моя нынешняя догадка состоит в том, что кривая интеллектуальности содержит огромные, резкие (потенциально) скачки.