Четвертая мировая война. Будущее уже рядом

При этом мы абсолютно не в курсе, какими именно средствами этот сверхмощный искусственный интеллект будет добиваться своих целей. Что, если он воспользуется в качестве своего «оружия» или просто «инструмента» чем-то, что даже нельзя будет разглядеть (причём в буквальном смысле этого слова, поскольку длина волны света в разы превышает отдельные объекты нанотехнологий)[31].

Именно нанотехнологиям пророчат весьма перспективное будущее, несмотря на все технологические сложности, с которыми мы в этой области пока сталкиваемся. Об этом пишут как научно-исследовательские институты, например Британская королевская инженерная академия, так и инвестбанкиры, рассматривающие эту отрасль беспрецедентно перспективной с точки зрения возможной прибыли.

То, что построение материальных объектов на уровне атомов возможно, — думаю, уже никому объяснять не надо. Но амбиции учёных простираются дальше непосредственной игры с атомами: они мечтают о создании наноассемблеров — устройств, которые сами по себе, то есть без вмешательства человека, будут собирать то, что ему нужно, из отдельных атомов и молекул.

Рэй Курцвейл, как известно, обещал нам скорое десятилетие 3D-печати, но вполне возможно, что эта техника устареет раньше, чем мы думаем.

Эти научно-технические фантазии уже имеют ряд практических воплощений (пусть пока и недостаточно мощных), поэтому следующий этап — это создание огромных нанофабрик, которые будут способны производить наноассеблеры, а ещё через паузу — наноассемблеры, способные реплицироваться, то есть создавать другие наноассемблеры.

Причём, если такая технология будет создана, — кому-то хватило настойчивости провести соответствующие расчёты (если мне не изменяет память, это был «отец нанотехнологий» Ким Дрекслер) — наша планета может быть уничтожена (разобрана на атомы и пересобрана во что-то другое, куда менее презентабельное[32]) за каких-то двое суток.

Соединение искусственного интеллекта с возможностью наноассемблеров способно продемонстрировать нам всю, так сказать, мощь закона ускоряющейся отдачи.

Но не факт, что результаты этой монструозной ассоциации технологий будут соответствовать радужным прогнозам Рэя Курцвейла о Рае на земле. Например, в книге «Последнее изобретение человечества: искусственный интеллект и конец эры Homo sapiens» Джеймс Баррат настаивает на прямо противоположном развитии событий. И в этом он отнюдь не одинок.

«Завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за искусственным суперинтеллектом исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.

Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.

Приготовьтесь к следующему столкновению цивилизаций: мы с вами против искусственного суперинтеллекта».

ДЖЕЙМС БАРРАТ, документалист, писатель

Всё дело в том, что нейронное или генетическое программирование предполагает цель, ради которой данный интеллект создаётся. Любая же умная система, движимая своей целью, сделает всё возможное, чтобы избежать гибели, — ведь если она «умрёт», то её цель не будет достигнута.

То есть искусственный интеллект, вполне возможно, обзаведётся скоро не только языком как ленатовская Euriso или фейсбучные боты, но и чем-то вроде инстинкта самосохранения. Последующие же итерации его постоянного самосовершенствования сделают совершенно бессмысленными всякие наши попытки его сдержать или выключить.

При этом в том, что в какой-то момент нам захочется его сдержать, а потом и выключить, сомневаться не приходится. Дело в том, что инстинкт самосохранения вынудит суперинтеллект создавать новые цели, для достижения которых ему потребуются новые ресурсы, а мы с вами — поскольку состоим из молекул и атомов — и есть, в частности и кроме прочего, такой ресурс, проще говоря, кормовая база.