Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Если появление AGI станет неминуемым, мы сможем строить более обоснованные догадки относительно ответа и на второй ключевой вопрос: будет ли быстрый разгон, медленный разгон или не будет никакого разгона. Как мы видели, быстрый разгон облегчает захват всего мира, а медленный разгон делает более вероятным появление большого количества конкурирующих игроков. Ник Бострём препарирует этот вопрос о скорости разгона в ходе анализа того, что он называет оптимизационной силой и сопротивлением, в сущности представляющими собой совокупную интенсивность шагов к повышению качества (quality effort) искусственного интеллекта и сложность в достижении прогресса соответственно. Средняя скорость прогресса очевидно увеличивается, когда для достижения его применяется бóльшая оптимизационная сила, и уменьшается, когда встречается бóльшее сопротивление. Он приводит аргументы, почему сопротивление может возрастать или убывать при достижении AGI человеческого уровня, поэтому для надежности было бы разумно пока держать обе возможности в поле зрения. Но если говорить об оптимизационной силе, то она со всей вероятностью должна быстро возрастать при превышении AGI человеческого уровня — по причинам, которые ясно проявились при нашем описании сценария «Омега»: в последующем основной вклад в оптимизацию делают не люди, а сама машина, и чем выше ее способности, тем быстрее прогресс (если сопротивление остается константой).

Для любого процесса, сила которого, определяющая его скорость, пропорциональна достигнутому уровню, результат, производимый этой силой, будет удваиваться через один и тот же промежуток времени. Мы называем такой рост экспоненциальным, а такие процессы — взрывом. Если количество новорожденных будет пропорционально численности популяции, то произойдет популяционный взрыв. Если рождение нейтронов, способных вызывать деление ядер плутония, растет пропорционально числу этих нейтронов, то произойдет атомный взрыв. Если разум машины растет пропорционально его силе, то мы получим взрыв разума. Каждый из таких взрывов характеризуется временем, которое требуется, чтобы сила удвоилась. Если характерное время интеллектуального взрыва — часы или дни, как было в примере со сценарием «Омега», то мы получаем быстрый разгон.

Характерное время взрыва принципиально зависит от того, достаточно ли для усиления искусственного интеллекта только улучшения его «софта» (которое возможно в считанные секунды, минуты или часы), или оно требует изменения «харда» (на что могут уйти месяцы или годы). В сценарии «Омега» имелся значительный аппаратный излишек (hardware overhang), по терминологии Бострёма: «омеги» могли компенсировать низкое качество своих исходных программ изобилием находящихся в их распоряжении компьютеров, что означало наличие возможности у Прометея производить большое количество удвоений качества, только улучшая свой «софт». Но благодаря интернету у него был и большой излишек контента (content overhang); Прометей 1.0 был не в состоянии им воспользоваться, но когда его интеллектуальные способности выросли, данные, необходимые для его дальнейшего обучения, могли быть в его распоряжении незамедлительно.

Стоимость конструкции и расходуемой искусственным интеллектом электроэнергии также существенные факторы, так как интеллектуальный взрыв нам не будет выгоден, пока стоимость выполняемой искусственным интеллектом работы человеческого качества не будет ниже оплаты этой работы, если ее будет выполнять сам человек. Допустим, например, что первый AGI сможет выполнять любые задания, на какие только способен человек, в облаке Amazon по стоимости 1 миллион долларов в час. Конечно, это будет грандиозный прорыв, и все газеты разместят эту новость на первых полосах, но никакого последовательного самоусовершенствования этого искусственного интеллекта пока не случится, потому что выгоднее будет продолжать использовать для его усовершенствования людей. Предположим, что эти люди постепенно добиваются успеха, и стоимость часа работы искусственного интеллекта снижается — сначала до 100 000 долларов в час, потом до 10 000 долларов в час, потом до 1 000 долларов в час, потом до 100 долларов в час, потом до 10 долларов в час и, наконец, до 1 доллара в час. Ко времени, когда использовать сам компьютер для собственного перепрограммирования окажется значительно дешевле, чем платить людям за ту же работу, программистов можно отправлять на покой, а оптимизационная сила резко возрастет за счет появившейся возможности покупать вычислительное время в облаке. Отсюда возникнет еще большее снижение стоимости, еще больше увеличивающее оптимизационную силу. Вот и начало интеллектуального взрыва.