Машины создания

В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.

Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом. И также как с репликаторами, простое эволюционное "превосходство" не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.

Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.

На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны – войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами "микробами". В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.

Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу – если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.

Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.

Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.

Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.