Другая линия аргументов тоньше, и отмахнуться от нее сложнее. Она опирается на знаменитый мысленный эксперимент под названием «Китайская комната», предложенный философом Джоном Сёрлем. Сёрль просит представить, что он заперт в комнате. В комнате есть окошко, через которое ему передают карточки со строками китайских иероглифов. Но Сёрль не знает китайского, хотя ему и дали книгу правил (на английском языке), с помощью которой он может расшифровать надпись и написать ответ. Итак, Сёрль в комнате и ему вручают карточку с посланием на китайском языке. Он сверяется со своей книгой, выписывает найденные в ней иероглифы и возвращает карточку через второе окошко в стене[23]
.Вы можете спросить: какое отношение все это имеет к ИИ? Обратите внимание, что с позиции человека вне комнаты ответы Сёрля неотличимы от ответов человека, знающего китайский язык. Однако сам он не понимает смысла того, что написал. Как компьютер, он дает ответы на вопросы, перебирая формальные символы. Комната, Сёрль и карточки вместе образуют своеобразную систему обработки информации, но сам он не понимает ни слова по-китайски. Каким же образом обработка данных в безмозглых элементах, ни один из которых не понимает языка, может породить, хотя бы в принципе, нечто столь великолепное, как понимание или переживание? По Сёрлю, этот мысленный эксперимент позволяет предположить, что, каким бы разумным ни казался компьютер, на самом деле он не мыслит и не понимает. Он всего лишь бездумно манипулирует символами.
Строго говоря, этот мысленный эксперимент служит скорее аргументом против машинного понимания, а не машинного сознания. Но Сёрль делает еще один шаг и предполагает, хотя не всегда явно говорит об этом, что если компьютер неспособен на понимание, то он не может претендовать и на сознание. Для определенности предположим, что он прав и понимание действительно тесно связано с сознанием. В конце концов, это выглядит довольно правдоподобно: если мы понимаем, то находимся в сознании; мы не только сознаем, что понимаем, но – и это важно – в целом находимся в состоянии бодрствования и осознанности.
Что, если Сёрль прав, и китайская комната не может обладать сознанием? Многие критики сосредоточиваются на принципиальном моменте рассуждений: на том, что человек, перебирающий символы в комнате, не понимает китайского языка. Для них главное не в том, понимает ли кто-нибудь в комнате китайский, а в том, понимает ли китайский
Мне представляется, что «ответ системы» правилен в одном отношении и неправилен в другом. Верно, что по-настоящему вопрос о сознании машин состоит в том, обладает ли сознанием машина в целом, а не один ее компонент. Представьте, что вы держите чашку горячего зеленого чая. Ни одна отдельно взятая молекула в чае не является прозрачной, но в целом чай прозрачен. Прозрачность – свойство некоторых сложных систем. В том же ключе можно сказать, что ни один отдельно взятый нейрон и ни одна отдельная область мозга не реализует сама по себе тот сложный тип сознания, которым обладает личность. Сознание – свойство очень сложных систем, а не фантом внутри более крупной системы вроде Сёрля в комнате[25]
.Согласно рассуждениям Сёрля, система не понимает китайского, потому что он лично не понимает этого языка. Иными словами, целое не может обладать сознанием, поскольку сознанием не обладает какая-то его
Однако «ответ системы» кажется мне ошибочным вот в чем: из него следует, что китайская комната как система обладает сознанием. Невозможно представить, чтобы такая примитивная система, как китайская комната, обладала сознанием, поскольку сознающие себя системы намного сложнее. Человеческий мозг, например, включает в себя 100 млрд нейронов и более 100 трлн нейронных связей, или синапсов (кстати говоря, это в 1000 раз больше количества звезд в галактике Млечный Путь). По сравнению с невероятной сложностью человеческого мозга или даже сложностью мозга мыши китайская комната в лучшем случае детские кубики. Даже если сознание – это системное качество, не все системы им обладают. К тому же и базовая логика рассуждений Сёрля ущербна, ибо он не показал, что сложный ИИ не сможет обладать сознанием.