Седьмое чувство. Под знаком предсказуемости: как прогнозировать и управлять изменениями в цифровую эпоху

Виндж определил этот переходный момент как «сингулярность». «Это точка отсчета, – писал он, – начиная с которой модели, созданные человеком, должны быть отброшены». Тривиальной версией этого будет период создания автономных вооруженных беспилотных летательных аппаратов, самоуправляемых автомобилей, а также электросетей, в которых включение и выключение атомных станции будет происходить в соответствии с логикой, которая понятна только им. Более правдоподобной версией, однако, было бы появление искусственного интеллекта, который способен думать, создавать и интуитивно ощущать любые раздражители, слишком слабые для человеческого разума, чтобы их воспринять. В течение нашего периода глобальных коммуникаций такие машины уже должны появляться, – чувствовал Виндж, – потому что мы хотим и даже нуждаемся в них, чтобы достичь нашей мечты. Затем, как он предположил, машины возьмут верх. Переход от духовного подъема времен Моцарта к Сталинскому периоду не выглядел был бы столь важным изменением во времени, во всяком случае, в технологическом плане. Это воспринималось бы просто как поток бит. Определение Гуда могло быть трансформировано в нечто более категоричное: давайте сверхинтеллектуальную машину определим как коробку, которая затем исключит нас с вами.

То, что исходило из того незамысловатого «стихотворения» NASA: «Наши роботы предшествуют нам», было страхом: существующий искусственный интеллект был только наживкой. Мы жадно набрасываемся на него, надеясь, что он снимет человеческую боль, только для того, чтобы понять, что мы сами попались на крючок и в ближайшее время будем съеденными. Представляется весьма маловероятным допущение, что суперинтеллектуальное устройство всегда будет достаточно послушным нам, отвлечет нас от его тайных систем управления или выявит свои нарастающие проблемы, которые мы сможем без затруднений понять. Если честно, нам потребовалось бы достаточно много времени, чтобы разобраться в его системе управления, не говоря уже о том, чтобы добраться до них. Большая часть наших побуждающих мотивов позволят искусственному интеллекту эффективно вмешиваться в жизнь все большего и большего числа людей. Научить и поощрять его быть непокорным, а в некоторых ситуациях крайне непослушным, могло бы стать оружием нападения на наших врагов, наших политических оппонентов и, наконец, друг на друга. Для Винджа было достаточно легко предвидеть, чем это закончится. Это не было некой возможной хозяйской надеждой на помощь «декоративной собачки» – искусственного интеллекта. Это было устройство-ротвейлер с ярко выраженным интересом к «мясному» запаху власти, насилию и алчности.

Эта проблемы вызвала интерес у оксфордского философа Ника Бострома, который провел следующий мыслительный эксперимент. Представьте себе сверхинтеллектуальную машину, запрограммированную делать все необходимое, чтобы с высокой скоростью производить скрепки. Это мог бы быть компьютер, который подключен ко всем ресурсам, необходимым для решения этой задачи. Иди и вычисли это! Вот и все, что его люди-инструкторы могли бы сказать. По мере того как искусственный интеллект, осуществляющий производство скрепок становится все лучше и лучше в выполнении своей задачи, он требует все больше и больше ресурсов: больше электроэнергии, стали, средств производства и доставки. Скрепки складываются. Машина осматривается. «Если бы только я могла контролировать энергообеспечение», – размышляет она. Она наблюдает за доставкой. Берет под контроль горнодобывающую промышленность. Людей. И так, амбициозна в своем производстве большего количества и лучшего качества скрепок, что она начинает думать о своих владельцах, которые не в состоянии остановить ее до тех пор, пока она не переработает весь мир в скрепки. Вы должны были надеяться, что кто-то вспомнил и поместил команду Холта в ее логику.