Человеческое мышление, о котором мы судим по собственному опыту, сопровождается субъективным пониманием того, о чем мы мыслим и говорим. И Сёрл попробовал показать, что компьютер, симулирующий внешние проявления осмысленной человеческой речи, в действительности может быть лишен какого-либо субъективного понимания того, о чем он говорит. Чтобы доказать это, он предложил человеку встать на место компьютера. Представим, к примеру, что у нас имеется программа, позволяющая компьютеру осмысленно, т. е. по-человечески, отвечать на вопросы на понимание какого-то рассказа. Программа — это алгоритм, позволяющий преобразовывать данные, поступающие на вход системы, в которой она инсталлирована. Преобразование осуществляется исключительно на основе формальных характеристик этих исходных данных. Допустим также, что данные, поступающие на вход этого компьютера, это китайские иероглифы. То есть вопросы на понимание рассказа задаются на китайском языке. На китайском языке записан и сам рассказ. Наша программа на понятном нам языке позволяет ставить в соответствие входящим иероглифам (вопросам) другие иероглифы, которые являются внешне осмысленными ответами на поставленные вопросы.
Итак, мы занимаем место компьютера. Теперь мы сами будем исполнять программу. Мы будем смотреть, какие иероглифы поступают к нам (для наглядности и для соответствия условий мысленного эксперимента тесту Тьюринга Сёрл предлагает нам представить, что мы находимся в изолированной комнате и общаемся с окружающими через специальный терминал), с помощью программы находить им соответствия (в конечном счете программа и сводится к указанию разного рода соответствий между иероглифами) и передавать полученный результат на выход, т. е. за пределы нашей комнаты.
Допустим также, что мы не знаем китайского языка, т. е., в частности, не знаем, какие вещи, свойства и отношения обозначают различные иероглифы. В таком случае, несмотря на то что мы будем выдавать внешне осмысленные, т. е. «правильные», ответы на поступающие вопросы, мы не будем иметь представления, о чем идет речь в этих вопросах, в наших ответах и в самом рассказе. Ведь наши ответы будут определяться исключительно формальными характеристиками поступающих на вход иероглифов. Таким образом, если мы, став компьютерами, внешне осмысленно отвечающими на вопросы, не обретаем того понимания сути беседы, которое присутствовало бы у нас, если бы мы знали китайский язык и вели человеческий разговор, то логично заключить, что подобное понимание отсутствует и у самих компьютеров. А из этого следует, что внешне осмысленное речевое поведение компьютеров не свидетельствует о наличии у них специфически человеческого понимания.
Этот вывод, по-видимому, невозможно оспорить, но здесь возникает важный вопрос о границах его применимости. Будет ли он действовать по отношению к такому речевому поведению, при котором мы в принципе не сможем внешне отличить поведение компьютера от поведения человека (в ситуации с тем рассказом мы легко могли бы зафиксировать такое отличие, если бы задали компьютеру вопрос из какой-то другой области)? Будет ли он действовать в тех случаях, когда компьютер сможет проходить тест Тьюринга?
Сёрл считал, что ничто не мешает истолковать его аргумент именно так. Но подобное толкование может быть принято, лишь если будет показано, что описанная им система могла бы проходить тест Тьюринга. В самом деле, если Китайская комната не может проходить тест Тьюринга, т. е. если ее ответы, несмотря на их осмысленность, всегда можно будет отличить от ответов человека, то нет ничего удивительного в том, что мы не сможем с необходимостью приписывать ей специфически человеческого понимания.