Искусственный интеллект

15. Апологеты ИИ-оракула заявили бы, что у его пользователя по крайней мере есть возможность заметить изъян в предлагаемом решении — что он не соответствует намерениям пользователя, хотя и отвечает формально заданному критерию успеха. Вероятность обнаружения ошибки на этом этапе зависит от множества факторов, включая то, насколько понятны для человека результаты работы оракула и насколько доброжелательно он подходит к отбору тех черт потенциального сценария, которые представляет вниманию пользователя.

Можно не полагаться на ответы оракула, а попытаться создать отдельный инструмент, который мог бы инспектировать предложения ИИ и сообщать нам, что произойдет, если мы с ними согласимся. Но чтобы обеспечить это в полной мере, потребуется еще один сверхразум, чьему мнению мы должны будем доверять, то есть проблема надежности по-прежнему не будет решена. Можно также попробовать повысить безопасность за счет использования множества оракулов, перепроверяющих друг друга, но это не защитит нас в том случае, если все оракулы совершат одну и ту же ошибку — что может произойти, например, в ситуации, когда все они пользуются одним и тем же формальным определением того, что считать удовлетворительным решением.

16. См.: [Bird, Layzell 2002; Thompson 1997]; см. также: [Yaeger 1994; p. 13–14].

17. См.: [Williams 1966].

18. См.: [Leigh 2010].

19. Пример взят из работы Элиезера Юдковского, см.: [Yudkowsky 2011].

20. См.: [Wade 1976]. Проводились также компьютерные эксперименты по симулированию некоторых аспектов биологической эволюции, и иногда тоже с очень неожиданными результатами (см., например: [Yaeger 1994]).

21. При наличии довольно большой — ограниченной, но физически невозможной — вычислительной мощности было бы возможно получить универсальный сверхразум даже на базе имеющихся сейчас алгоритмов. (Например, AIX — UNIX-подобная операционная система IBM, см.: [Hutter 2001].) Но для достижения нужного уровня вычислительной мощности будет недостаточно соблюдения закона Мура даже в течение еще ста лет.

Глава 11. Сценарии многополярного мира

1. Совсем не обязательно, что это наиболее вероятный или желательный сценарий, поскольку он — один из наиболее простых с точки зрения анализа средствами стандартной экономической теории и потому представляет собой удобную стартовую точку для нашего обсуждения.

2. См.: [American Horse Council, 2005]; см. также: [Salem, Rowan 2001].

3. См.: [Acemoglu 2003; Mankiw 2009; Zuleta 2008].

4. См.: [Fredriksen 2012, p. 8; Salverda et al. 2009, p. 133].

5. Важно, чтобы часть капитала была инвестирована в активы, которые растут вместе с рынком. Повысить шансы, что волна не пройдет мимо, может диверсификация портфеля активов, например приобретение паев индексного фонда.

6. Пенсионные системы многих европейских стран являются распределительными, то есть пенсии выплачиваются скорее за счет текущих отчислений и налогов работающих граждан, чем накопленных сбережений. Такая система не будет автоматически удовлетворять нашим требованиям, поскольку в случае внезапного всплеска безработицы доходы, которые распределяются в виде пенсий, могут оскудеть. Однако у правительства может быть возможность восполнить дефицит из каких-то других источников.

7. См.: [American Horse Council, 2005].

8. Чтобы 7 млрд человек получали годовую пенсию в размере 90 000 долларов, потребуется 630 трлн долларов в год, что в десять раз превышает величину современного мирового ВВП. По имеющимся данным, за последние 100 лет он вырос в 19 раз — с 2 млрд долларов в 1900 году до 37 млрд долларов в 2000-м (в международных долларах 1900 года), см.: [Maddison 2007]. Поэтому если темпы роста, которые мы видели в прошлом веке, сохранятся на протяжении следующих двухсот лет, а население планеты не вырастет, обеспечение каждого годовой пенсией в 90 000 долларов будет стоить всего 3% мирового ВВП. Благодаря взрывному развитию искусственного интеллекта такой рост может случиться гораздо раньше. См. также: [Hanson 1998 a; 1998 b; 2008].

9. За последние 70 тысяч лет могло вырасти в миллион раз; см.: [Kremer 1993; Huff et al. 2010].

10. См.: [Cochran, Harpending 2009]; см. также: [Clark 2007] и [Allen 2008] — с критикой.

11. См.: [Kremer 1993].

12. См.: [Basten et al. 2013]. Также возможны сценарии и продолжения роста; но надо сказать, что неопределенность резко вырастает при прогнозе более чем на пару поколений.