Война и еще 25 сценариев конца света

В принципе можно рассуждать и по-другому. Если бы мы точно знали, что такое «искусственный интеллект», мы бы уже могли его создать. Если искусственный интеллект создан человеком, то он является продуктом естественного интеллекта и в силу этого может быть назван искусственным только условно. Если интеллект – это то, чем обладает человек по определению, то искусственный интеллект, чтобы называться таковым, должен включать в себя все человеческие качества, иначе мы сможем сказать: нет, это не настоящий интеллект, потому что он не понимает, что значит «любить» и т. п. В результате искусственный интеллект – это искусственная естественность, то есть оксюморон, нечто, невозможное по определению. Но этот оксюморон касается только определения предмета, но не того, что на самом деле возможно, а что невозможно. Если мы переименуем ИИ в «универсальный самообучающийся компьютерный вирус, способный к целенаправленному поведению во внешней среде», сделает ли это его безопаснее? Или наоборот, если мы назовем ИИ «автоматизированной системой государственного управления», сумеем ли мы лучше оценить его риски?

Смутное ощущение угрозы и химеры подсознания

Известно, что нельзя использовать примеры из художественной литературы и кино для оценки рисков человеческого вымирания, так как эти примеры существенным образом искажены необходимостью сделать интересный сюжет с приятным окончанием. Нет никакого интереса писать о том, как в некой лаборатории внезапно произошел взрыв и вся Земля сгорела. Поэтому большинство фантастических произведений, где речь идет об угрозе гибели человечества, заканчиваются хеппи-эндом.

С другой стороны, не следует отказываться от анализа существующих литературных предсказаний, поскольку они в любом случае присутствуют в подсознании читателя и всплывают в качестве примеров. Более того, такие произведения могут играть роль самосбывающихся пророчеств, которые могут программировать сознание террориста на совершение тех или иных терактов. Хотя у нас нет тому прямых доказательств, кинематографичность событий 11 сентября выглядит не случайной.

Следовательно, мы должны анализировать известные художественные произведения о конце света как архетипы коллективного бессознательного.

Во-первых, с целью вскрыть эти архетипы и показать допущенные в них ошибки.

Во-вторых, будучи очищенными от очевидных искажений, они могут служить реальными прогнозами будущего – поскольку их авторы, вероятно, действительно думали, что так оно и будет или хотя бы может быть.

В-третьих, художественное произведение иногда может обладать пророческой силой, превосходящей возможные рациональные обоснования. Так, например, Свифт предсказал оба спутника Марса за 100 лет до их открытия и даже правильно назвал периоды их обращения.

В связи с рисками ИИ наиболее известным примером развлекательной истории является сериал «Терминатор – Матрица» («Матрица» могла бы быть сюжетным продолжением «Терминатора»). Сюжет ее таков. В некий момент в будущем, осознав себя, компьютерная система управления войсками США Skynet за миллисекунду поняла, что, чтобы люди не отключили ее, она должна объявить ядерную войну и уничтожить большинство людей. Почти победив, она сталкивается с проблемой, что есть очень небольшое число роботов, которыми она может управлять непосредственно. И она использует этих роботов на заводах, куда сгоняют уцелевших людей, чтобы производить новых роботов. А когда роботов становится достаточно, людей уничтожают как ненужных. Кроме того, модели роботов все время совершенствуются, и в конце концов появляются роботы из зеркального мыслящего вещества (по-видимому, раствора нанороботов в некой жидкости). Однако часть людей уцелела, спряталась в бункерах, захватила несколько роботов и сделала машину времени, что и позволило отправить терминатора и его противника в прошлое.

Фантастичность сюжета с машиной времени гораздо больше, чем возникновение враждебного ИИ, и поэтому машину времени можно не рассматривать. Представление о том, что сеть Skynet осознала себя, не следует понимать в том смысле, что она обрела человеческое сознание, а как то, что она некоторым образом пересчитала подцели, связанные с ее основной целью. По-видимому, в качестве основной цели ей задали самосохранение (имея в виду сохранение страны), возможно, не буквально, но неким эквивалентным образом. А затем Skynet, пересчитывая разные угрозы, обнаружила, что для нее наибольшая угроза лежит не со стороны вероятного противника, а от своих собственных хозяев.

В этих рассуждениях нет ничего сложного и трансцендентального, и даже шахматный компьютер мог бы их произвести, если бы оперировал соответствующими понятиями.