На краю пропасти. Экзистенциальный риск и будущее человечества

Этим соглашением был Женевский протокол 1925 года, в котором был раздел, запрещавший подписавшим протокол государствам первыми применять бактериологическое оружие. Японцы подписали протокол лишь в 1970 году, но получили информацию из самого факта его существования (Harris, 2002, p. 18).

392

Lewis et al. (2019).

393

Так, я специально привел лишь достаточно широко известные примеры.

394

McCarthy et al. (1955). Основы ИИ были заложены еще до Дартмутской конференции, но лето 1956 года обычно считается моментом появления ИИ как области исследований.

395

Это называется парадоксом Моравека по имени пионера ИИ и робототехники Ханса Моравека, который в 1988 году написал: “Однако по мере появления все новых демонстрационных версий стало очевидно, что сравнительно легко вывести компьютер на уровень взрослого человека при решении задач в тестах на интеллект или при игре в шашки, но сложно или вовсе невозможно наделить его навыками годовалого ребенка в области восприятия и мобильности”.

396

Структура главным образом усовершенствовалась за счет появления сверточных нейронных сетей (СНС) и рекуррентных нейронных сетей (РНС). Обучение – за счет применения различных модификаций алгоритма стохастического градиентного спуска, таких как Adam и импульс Нестерова. Усовершенствования в сфере аппаратного обеспечения были спровоцированы переходом от центральных процессоров к графическим, а теперь – к более специализированным устройствам, таким как тензорные процессоры. Эти успехи подпитывали друг друга в рамках благотворного цикла: теперь, когда нейронные сети так хороши, имеет смысл собирать крупные базы данных для их обучения и разрабатывать специализированное аппаратное обеспечение для их работы, в результате чего все становится лучше, оправдывая всё новые инвестиции.

397

He et al. (2015).

398

Phillips et al. (2011); Ranjan et al. (2018).

399

Перевод (Hassan et al., 2018); создание фотографий (Karras et al., 2017); подражание голосу (Jia et al., 2018); беспилотные автомобили (Kocić, Jovicic & Drndarević, 2019); конструктор Lego (Haarnoja et al., 2018).

400

Bernstein & Roberts (1958); IBM (2011). На протяжении последних пятидесяти лет шахматные программы прибавляли примерно по 50 пунктов рейтинга Эло в год, причем примерно половину из этого им приносило усовершенствование алгоритма, а другую половину – усовершенствование оборудования (Grace, 2013).

401

Silver et al. (2018). Нужно осторожно относиться к таким цифрам и учитывать, какое оборудование использовалось. При обучении AlphaZero использовался гигантский объем вычислительной мощности (5000 тензорных процессоров), а значит, за указанные четыре часа она смогла смоделировать огромное количество партий в шахматы против других версий себя и таким образом нащупать наиболее выигрышную стратегию. Это важная оговорка при сравнении достижений AlphaZero с другими прорывами, поскольку программное обеспечение было усовершенствовано не так сильно, как кажется на первый взгляд. Но я думаю, что, оценивая риск, сопряженный с ИИ, важно знать, сколько времени система потратила на обучение, поскольку это показывает, как быстро ИИ-система может выйти из под контроля в реальном времени.

402

Strogatz (2018).

403

Возможно, AlphaZero даже превзошла тот уровень, который лучшие игроки в го считали идеальным. Принято думать, что для победы в партии, которую противник ведет идеально, лучшим игрокам нужна фора в три-четыре камня (Wilcox & Wilcox, 1996). Через 30 часов AlphaZero оказалась более чем на 700 пунктов рейтинга Эло выше лучшего из профессиональных игроков. Хотя сложно перевести фору в пункты рейтинга на таком исключительно высоком уровне игры, это примерно соответствует прогнозам для идеального ведения партии (Labelle, 2017). Было бы любопытно посмотреть, как AlphaZero играет с лучшими игроками, увеличивая фору, и понять, на сколько камней она опережает их в реальности.

404

Строго говоря, Кэ Цзе имел в виду версию AlphaGo Master, которая появилась раньше AlphaGo Zero (Wall Street Journal, 2017).

405

Прорывом стал алгоритм DQN (Mnih et al., 2015), в котором успешно соединились глубокое обучение и обучение с подкреплением. DQN продемонстрировал человеческий уровень в 29 из 49 игр Atari. Однако он не был в полной мере общим: как и при обучении AlphaZero, для каждой игры приходилось обучать отдельную копию сети. Впоследствии удалось обучить единую сеть играть во все игры на человеческом уровне и лучше, добившись среднего показателя в 60 % от человеческого уровня (Espeholt et al., 2018).

406

Посещаемость одной из главных конференций, NeurIPS, в период с 2012 по 2018 год повысилась в 4,8 раза. Объем венчурных инвестиций в ИИ в период с 2013 по 2018 год вырос в 4,5 раза (Shoham et al., 2018).

407

Основано на данных из Brundage et al. (2018), Coles (1994) и Shoham et al. (2018). Иллюстрации взяты в Goodfellow et al. (2014), Radford, Metz & Chintala (2015), Liu & Tuzel (2016) и Karras et al. (2017).

408