Искусственный ты. Машинный интеллект и будущее нашего разума

Тезис ортогональности: интеллект и конечные цели ортогональны – «любой уровень интеллекта может, в принципе, сочетаться с любой конечной целью»[88].

Проще говоря, одно то, что искин умен, не гарантирует наличия у него объективного восприятия; интеллект сверхразумного существа может быть направлен на абсурдные цели. (Это немного напоминает мне академическую политику, в которой так много интеллекта растрачивается впустую, на мелкие и даже извращенные цели.) Бостром не забывает подчеркнуть, что можно придумать огромное количество самых невероятных типов сверхразума. В какой-то момент он приводит отрезвляющий пример сверхразума, управляющего фабрикой канцелярских скрепок. Его конечная цель – производство этих самых скрепок[89]. Хотя поначалу это может показаться безобидным делом (но вряд ли стоящим того, чтобы положить на него жизнь), суть отрезвляющего замечания Бострома состоит в том, что сверхразум способен потратить на достижение этой цели все ресурсы Земли, стерев попутно с ее лица биологическую жизнь.

Пример со скрепками наглядно показывает, что сверхразум может быть непредсказуемым, а его мышление – «чрезвычайно чуждым» для нас[90]. Хотя конечные цели сверхразума сложно предсказать, Бостром выделяет несколько инструментальных целей, которые поддерживают совершенно любую конечную цель.

Тезис инструментальной конвергенции: «Можно назвать несколько инструментальных целей, которые являются конвергентными, т. е. повышающими шансы на реализацию широкого круга конечных целей в широком диапазоне ситуаций. Таким образом, эти инструментальные цели с большой вероятностью будут преследоваться всеми разумными агентами в соответствующих обстоятельствах»[91].

Целями, которые называет Бостром, являются приобретение ресурсов, техническое совершенствование, когнитивное развитие, самосохранение и целостность целей (т. е. преследование будущим «я» сверхразумного существа тех же целей). Он подчеркивает, что самосохранение может быть групповым или индивидуальным и стоять на втором месте после сохранения представителей вида, для обслуживания которого искин был разработан.

В своей книге Бостром не рассуждает о сверхразумных инопланетянах, но его рассказ наводит на размышления. Назовем инопланетный сверхразум, разработанный путем обратного проектирования инопланетного мозга, включая его загрузку в компьютер, «инопланетным сверхразумом на основе биологического образца». Хотя такие сверхразумы создаются первоначально по образу и подобию мозга оригинального биологического вида, от которого произошел данный сверхразум, их алгоритмы могут отходить от алгоритмов биологической модели в любом пункте.

Сверхразумы на основе биологических образцов представляют особый интерес в контексте инопланетных цивилизаций, поскольку образуют специфический класс в спектре возможных искинов. Если Бостром прав и сверхразум может быть создан разными способами, совокупность сверхразумных искинов будет очень неоднородной, а ее представители в среднем будут мало напоминать друг друга. Может оказаться даже, что из всех сверхразумных искинов те, что созданы на основе биологических образцов, сильнее всего похожи друг на друга благодаря своим биологическим корням. Иными словами, такие сверхразумы могут оказаться самой сплоченной подгруппой, поскольку другие представители сильно отличаются друг от друга. Возможно, это вообще самая распространенная форма инопланетного сверхразума.

Можно предположить, что сверхразумы на основе биологических образцов рассеяны по Галактике и созданы множеством разных биологических видов, а потому малоинтересны. Можно сказать также, что бесполезно теоретизировать на их счет, поскольку они способны менять свою архитектуру непредсказуемым образом, а любые биологически обусловленные мотивации ограничиваются программно. Однако у инопланетных сверхразумов на основе биологических образцов есть две черты, которые могут породить общие когнитивные способности и цели.