У искусственного сверхразума, очевидно, должна быть какая-то цель. Скорее всего, нам окажется не под силу даже приблизительно предсказать, какая именно. Возможно, исследовать Вселенную, или уничтожить все остальные цивилизации, или, согласно самому пессимистическому сценарию Бострома, производить скрепки, безжалостно обращая всю материю во Вселенной в бесконечно разрастающуюся груду этих канцелярских изделий.
Если у нарождающегося разума имеется лишь одна цель — производить скрепки или уничтожать все другие организмы, то обязательным условием оказывается точная передача этого задания всем роботам во Вселенной, производящим скрепки. Должен быть предусмотрен какой-то абсолютно непогрешимый способ коммуникации. В противном случае малейшая ошибка приведет к тому, что некоторые боты начнут производить скобы для степлеров вместо скрепок. Тогда конкуренция между сверхразумными роботами, производящими скрепки, и роботами, производящими скобы, может привести к войне и взаимоуничтожению.
Насколько вероятна такая вселенная, пронизанная сетью компьютеров, занятых исключительно обменом информации, самовоспроизводством и выполнением единственной задачи? Скорее всего, не очень. Если подобный инопланетный мир искусственных разумных организмов и появится, есть вещи, которых ему не избежать — какими бы разумными и тщательно спроектированными ни были организмы, его населяющие. С одной стороны, искусственный интеллект не может совершенствоваться, не меняясь, а изменения влекут за собой риск мутаций. С другой стороны, даже самая продуманная стратегия открывает потенциальные возможности для паразитирования — нельзя упускать из виду теорию игр даже применительно к компьютерам, наделенным сверхразумом, развившимся до фантастического уровня.
Мутации: благословение или проклятие?
В жизни (то есть у природных организмов вроде нас) мутации происходят потому, что во Вселенной присутствует элемент случайности. Прилетевший из космоса луч выбивает из атома электрон, и процесс копирования ДНК нарушается. Фермент может быть на 99,99 % специфичен к определенному белку, но всегда существует вероятность в 0,01 %, что он свяжется «не с тем» белком. Подобные случайные ошибки могут быть фатальными — обычно достаточно одной неверной «буквы» в энциклопедии вашей ДНК, чтобы вы еще на стадии эмбриона не смогли полноценно расти и развиваться. Следовательно, жизнь (земная или инопланетная) не могла достичь нынешней сложности, не располагая каким-то способом выявления и исправления ошибок при каждом копировании ДНК. Как правило, эта система работает вполне успешно. Клетки нашего организма непрерывно делятся и воспроизводятся, о чем в высшей степени наглядно свидетельствует тот факт, что из трехкилограммового младенца вырастает взрослый человек весом 70 кг. Каждая клетка получает точную копию ДНК, а если этого не происходит, часто возникают онкологические заболевания.
Однако не все мутации непременно столь вредны. Мутация, из-за которой у вас на стадии эмбриона чуть дольше продолжается рост шейных позвонков, может быть полезной или бесполезной для вас во взрослом возрасте, но скорее всего, не погубит вас на эмбриональной стадии. Изменчивость отдельных особей неизбежна в силу мутаций (а также — по крайней мере на Земле — благодаря половому размножению).
Все это достаточно просто, когда речь идет о естественном отборе, поскольку у естественного отбора нет плана и нет разработчика. Никто не знает заранее, какие признаки организма будут полезными, а какие вредными. Без подобного предвидения единственный способ испытать различные варианты — случайные, но мелкие мутации и изменения того, что уже имеется в наличии.
А если нам
Допустим, некий искусственный интеллект (или даже живой организм) создает набор самовоспроизводящихся разумных космических роботов-зондов для исследования (и освоения) Вселенной. Все зонды приземлятся на разных планетах, и каждый начнет производить подобные себе аппараты, примерно как в рассказе Днепрова «Крабы идут по острову». Будет ли каждый дочерний зонд идентичен родительскому? Вряд ли. Родительский зонд может целенаправленно сделать их несколько различающимися, исходя из разумного предвидения: например, один может быть лучше приспособлен для подводного плавания, а другой для воздушных полетов. Но возникнут ли в этом процессе ошибки (мутации)? Казалось бы, родительский зонд, как всякий ответственный инженер, должен постараться обеспечить точное соответствие каждого выполненного экземпляра требованиям проекта. Эволюционные мутации дают преимущество лишь потому, что эволюция не обладает предвидением! Если у вас есть предвидение, логично избавиться от случайности.