«Если», 2015 № 03

Тем не менее я попробую очертить угрозы и перспективы. Будущее имеет свойство совершать подвиги, которые прошлое считало невозможными. Цивилизации будущего даже нарушали то, что цивилизации прошлого считали законами физики. Если бы пророки 1900 года — и даже не думайте о 1000 годе — попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия (превращение свинца в золото, например). Поскольку мы помним, что цивилизации будущего удивляли цивилизации прошлого, то мы не можем накладывать ограничений на своих праправнуков. И все же в XX веке, в XIX веке и в XI веке мы все были людьми.

Можно различить три семейства ненадежных метафор для представления об ИскИне, превосходящим интеллектуальные возможности человека:

• Метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта людей. ИскИн будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

• Историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИскИн быстро создаст набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию, межзвездные путешествия, компьютеры, выполняющие 10²⁵ операций в секунду.

• Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИскИн овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческих гениях, а не о людях вообще. В историях о враждебном ИскИне G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счете, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида — пример хорошей истории, но Голиаф против мушки дрозофилы — нет.

Если мы рассматриваем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИскИн — не большая угроза, чем враждебный человеческий гений. Если мы предполагаем множественность ИскИнов, то тогда мы имеем метафору конфликта между племенем ИскИнов и племенем людей. Если племя ИскИнов выиграет в военном конфликте и истребит людей, то, согласно Нику Вострому, это глобальная катастрофа по типу Взрыва. Если племя ИскИнов будет экономически доминировать над миром и обретет эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИскИнов не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныканье или Хруст.

Ник Востром.

Экзистенциальные риски:

анализ сценариев исчезновения человечества.

Категории классификации экзистенциальных рисков

Взрыв — разумная жизнь земного происхождения исчезает вследствие относительно внезапной катастрофы, связанной или со случайностью, или с намеренным актом уничтожения.

Визг — достигнута некая форма постчеловечества, но в чрезвычайно узкой форме, чем было бы желательно и возможно.

Хныканье — постчеловеческая цивилизация возникает, но развивается в направлении, которое постепенно, но необратимо ведет или к полному исчезновению вещей, которые мы ценим, или к состоянию, когда эти вещи доступны лишь в минимальной степени.

Хруст — потенциал развития человечества в постчеловечество перманентно потерян, хотя его существование в той или иной форме продолжается.

www.nickbostrom.com

/existential/risks.html

Но насколько вероятно, что ИскИн преодолеет весь огромный разрыв от амебы до деревенского дурачка, а затем остановится на уровне человеческого гения?