Если мы не будем осторожны и не сумеем правильно определить и распознать сознание в системах искусственного интеллекта, то рискуем однажды узнать, что невольно истязали триллионы триллионов искусственных разумов, наделенных сознанием, и причинили немыслимые по масштабам страдания.
Сознание – важнейший открытый вопрос, касающийся будущего ИИ, однако не менее, пожалуй, важен и вопрос о свободе воли. Сегодня мы делегируем машинам все больше и больше мыслительных задач. Мы позволяем ИИ брать на себя управление все более важными вещами – как модерировать контент и автоматически отмечать нежелательное, так и управлять автомобилями и военными беспилотниками.
Однако кого винить, если что-то пойдет не так? Если продвинутый беспилотник случайно выстрелит и убьет мирного жителя, кого нам увольнять – солдата, который должен был следить за работой дрона, инженеров, разработавших бортовую систему ИИ, или еще кого-то? Да и вообще – насколько умным и автономным должен быть ИИ беспилотника, чтобы мы сочли, что он сам несет моральную ответственность за свои действия? Если мы хотим и дальше основывать теорию права на свободе воли, нам придется придумать, как дать ей гораздо более точное определение, а также решить, когда начинать применять это определение к машинам.
– Ой, да ладно вам, – скажет кто-нибудь. – Я не беспокоюсь. Уверен, будет очевидно, когда система искусственного интеллекта станет сознательной в такой степени, что мы должны будем беспокоиться, не страдает ли она. Мы точно заметим, когда у нее появится свобода воли и все такое прочее.
Думаю, это не так. И еще я думаю, что правильный способ размышлять о сознании и свободе воли должен быть подсказан – хотя бы отчасти – квантовой физикой.
Вряд ли наши интуитивные представления о сознании помогут понять, когда пора начинать задумываться о страданиях искусственного интеллекта. И вот почему.
У нас есть опыт осмысления сознания с двух точек зрения. Это развитие человека и эволюция.
Начнем с развития человека. Как вид мы тратим много коллективного времени на размышления об относительном уровне сознания у сперматозоида, яйцеклетки, эмбриона, плода, младенца, ребенка, подростка и взрослого. У большинства из нас есть четкие представления о том, где в этом спектре нужно провести грань между бессознательными существами, не имеющими морального статуса, и сознательными существами, о которых мы должны заботиться. И хотя насчет точного расположения этой грани ведутся жаркие споры, консенсуса гораздо больше, чем кажется на первый взгляд: почти всякий согласится, что у сперматозоида и яйцеклетки нет никакого морального статуса, а у новорожденного ребенка – есть.
Однако еще у нас есть опыт рассмотрения проблемы сознания через призму эволюции. Вот уже сотни тысяч лет современные люди взаимодействуют с разными биологическими видами и изучают их – от грибов, водорослей и деревьев до муравьев, мышей и обезьян. И опять же у большинства из нас есть четкие представления о том, где в этом спектре нужно провести грань между «существами, сознательными в достаточной степени, чтобы нас это волновало» и «существами бессознательными из практических соображений».
Однако интуитивные представления о сознании, которые выработались у нас на основании опыта, связанного с развитием человека и эволюцией, не согласуются друг с другом. Критерии, по которым кошки нам кажутся более сознательными, чем амебы, сильно отличаются от критериев, по которым младенцы кажутся нам более сознательными, чем эмбрионы. Кошки во многих отношениях впечатляют больше, чем амебы: например, они способны быстро обучиться акробатическим трюкам и разрабатывать сложные планы охоты. А младенцы впечатляют больше, чем эмбрионы, по другим причинам: они могут ориентироваться в мире, ползать и лепетать «папа» и «мама».
Не совсем понятно, как можно сравнивать кошачью акробатику с базовыми вербальными навыками младенцев. Но каким-то образом эволюция довела интеллект млекопитающих вроде кошек примерно до уровня человеческого, и процесс биологического развития приводит младенцев к той же конечной точке. И если бы вы пользовались своими интуитивными представлениями о развитии человека, чтобы предсказать эволюционные шаги, которые в итоге приведут приматов к созданию великих цивилизаций, вы бы крупно ошиблись.
Так стоит ли ожидать, что наш опыт, связанный с развитием человека и эволюцией, окажется полезен для ответа на вопрос о сознании у систем ИИ?