Машины создания

Системы, которым можно доверять

Тактика ассемблерного прорыва

Возможен ли успех?

Размножающиеся ассемблеры и мыслящие машины создают принципиальные угрозы для людей и жизни на Земле. Сегодняшние организмы имеют способности далеко от пределов возможного, и наши машины эволюционируют быстрее, чем мы сами. В пределах нескольких десятилетий представляется вероятным, что они на превзойдут. Если мы не научимся жить с ними в безопасности, наше будущее вероятно будет и восхитительным, и коротким. Мы не можем надеяться предвидеть все проблемы впереди, однако, уделяя внимания большим, принципиальным моментам, мы, возможно, в состоянии предвидеть наиболее значительные задачи и получить некоторое представление о том, как с ними иметь дело.

Без сомнения, будут написаны целые книги о грядущих социальных сдвигах: что случится с глобальным порядком, когда ассемблеры и автоматический инжиниринг исключать необходимость в большей части международной торговли? Как общество изменится, когда отдельные люди смогут жить независимо? Что мы будем делать, когда размножающиеся ассемблеры смогут производить почти всё что угодно без человеческого труда? Что мы будем делать, когда системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к заключению, что люди отчаются что-либо делать или создавать, авторы могут рассмотреть, как бегуны относятся к машинам, или как художники относятся к камерам.)

В действительности авторы уже почти предвидели и проговорили несколько из этих моментов. Каждый из них – дело необычайной важности, но более фундаментальным, чем любой из них является выживание жизни и свобода. В конце концов, если жизнь или свобода исчезнут, то наши идеи о социальных проблемах больше не будут иметь значения.

Угроза от машин

В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.

Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать "почти всё что угодно".

Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам – всей богатой фабрике биосферы и всему, что мы ценим.

Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. "Растения" с "листьями" не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные "бактерии" могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить – по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.

Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть "высшими" в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.

Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.