Сингулярность

Ну, может быть, ее вообще не будет. Иногда я пытаюсь представить себе симптомы, свидетельствующие, что Сингулярности не суждено возникнуть. Это широко признаваемые аргументы Пенроуза [18] и Серла [21] об отсутствии практического смысла в существовании машинного разума. В августе 1992 года корпорация Thinking Machines Corporation провела семинар по вопросу «Как мы будем строить машину, которая думает» (How We Will Build a Machine that Thinks). Как можно догадаться по названию семинара, участники не слишком поддерживали аргументы против машинного интеллекта. Общим мнением было то, что могут существовать разумы на небиологической основе и что для существования разумов основную роль играют алгоритмы. Однако шли серьезные споры насчет чисто аппаратной мощности, представленной в органических мозгах. Меньшинство считало, что крупнейшие компьютеры 1992 года отстают по мощности от человеческого мозга на три порядка. Большинство же участников соглашались с оценкой Моравеца [16], что до достижения аппаратного паритета нам остается где-то от десяти до сорока лет. Однако было еще одно меньшинство, указывавшее на [6], [20] и предполагавшее, что вычислительная мощность отдельных нейронов может быть существенно выше, чем это принято считать. Если так, то аппаратное обеспечение наших современных компьютеров может даже на десять порядков отставать от аппаратуры, которую мы носим под собственным черепом. В этом случае (или, кстати, если критика Пенроуза и Серла обоснована) Сингулярности нам просто никогда не видать. Более того, в начале нулевых мы увидим, что кривые роста производительности аппаратуры начинают постепенно снижаться – это будет вызвано нашей неспособностью к автоматизации сложного проектирования, необходимого для поддержания крутизны этих кривых. В конце концов у нас в руках окажется очень мощное аппаратное обеспечение, но усилить его мощность уже не получится. Коммерческая скорость обработки сигналов будет впечатляющей, придающей аналоговый вид даже цифровым операциям, но ничего нигде не «проснется» и не случится взрывного роста интеллекта, который и является сущностью Сингулярности. Это, вероятно, будет рассматриваться как золотой век… но будет также и концом прогресса. Очень похоже на будущее, предсказанное Гюнтером Стентом. Действительно, на странице 137 работы [24] Стент ясно говорит, что достаточным условием для опровержения его построений является развитие трансчеловеческого интеллекта.

Но если технологическая Сингулярность может случиться, то она случится. Даже если все правительства мира осознают эту «угрозу» и будут от нее в смертельном ужасе, продвижение к этой цели будет продолжаться. В художественной литературе есть рассказы о законах, принятых для запрета строительства «машины в виде ума человека» [12]. Но конкурентное преимущество (экономическое, военное, даже эстетическое) любого прогресса в автоматизации – настолько императивный фактор, что любые законы или обычаи, запрещающие подобные вещи, гарантируют лишь одно: это преимущество получит кто-то другой.

Эрик Дрекслер [7] изложил красочное видение того, насколько далеко могут завести технические улучшения. Он согласен, что сверхчеловеческие умы появятся в ближайшем будущем – и что такие сущности представляют собой угрозу теперешнему статус кво человечества. Но Дрекслер утверждает, что мы можем физически ограничить подобные сверхчеловеческие устройства или же ввести ограничивающие их правила, чтобы результаты их работы можно было изучать и безопасно применять. Получается все та же ультраинтеллектуальная машина И. Дж. Гуда, только с некоторыми предохранителями. Я возражаю, что такое ограничение внутренне противоречиво. В случае физического ограничения: представьте себе, что вы заперты в собственном доме и доступ данных извне идет только через ваших хозяев. Если эти хозяева думают медленнее вас, скажем, в миллион раз, то практически наверняка за несколько лет (вашего времени) вы подадите им «полезный совет», который совершенно случайно даст вам свободу. (Эту быстромыслящую форму суперинтеллекта я называю «слабо сверхчеловеческой».) Такое «слабо сверхчеловеческое» существо, вероятно, вырвется на свободу за несколько недель внешнего времени. «Сильно сверхчеловеческий» суперинтеллект будет намного больше, чем просто человеческим разумом, только с быстрыми часами. Трудно сказать, на что будет этот «сильно сверхчеловеческий» суперинтеллект похож, но различие должно быть более глубоким. Представим себе собачий разум, работающий на очень высокой скорости. За тысячу лет додумается эта псина до какого-нибудь из человеческих открытий? (Ну, если собачий разум разумно перепаять и только потом запустить на высокой скорости, может, мы что-то иное и увидим…) В основном рассуждения о суперинтеллекте строятся, мне кажется, на модели слабо сверхчеловеческого. Я думаю, что более правильные представления о мире пост-Сингулярности могут быть выведены из размышлений о природе «сильно сверхчеловеческого». К этому я еще вернусь ниже.