Хотя при исследовании процесса коммуникации безоговорочный приоритет[3] отдается естественному языку, многие аспекты телесного коммуникативного поведения, такие как жестовые знаки, позы и телодвижения, расстояние, на котором находятся собеседники, выражения их лиц и взгляды, несомненно, должны быть приняты во внимание, если мы хотим понять, что наш партнер намерен сказать или что он хочет делать. Дело в том, что с помощью жестов, поз, взглядов, касаний и других телесных, или соматических[4], знаков мы можем передать собеседнику те смыслы, которые не хотим или не можем выразить словами. Из сказанного следует, что безоговорочность приоритетного положения естественного языка обусловлена прежде всего тем, что он обслуживает подавляющее большинство сфер человеческого общения и жизнедеятельности, но существуют также ситуации, области и жанры коммуникации, где доминирующим является язык тела. Больше того, в некоторых случаях на использование естественного языка даже накладывается запрет (табу) или слова в них излишни. Таковы, например, минута молчания, ситуации переглядывания или обмена понимающими взглядами, ситуации, связанные с поведением зрителей во время театральных спектаклей или демонстрации фильмов, невербальные приветствия и прощания (например, приветствия и прощания на дальнем расстоянии). Сюда же относятся акты моления или ритуалы, в которых доминирующими являются поклоны, реверансы и т. п., различные игры, где преобладает молчание (например, шахматы, шашки и другие игры, требующие интеллектуальных усилий и концентрации внимания, детские игры типа «гляделки» или «Замри!»), и многие другие.
И все же в подавляющем большинстве жанров и актов устной коммуникации телесный код и другие невербальные знаковые системы тесно взаимодействуют с речью и языком, так что коммуникация людей без участия соматических знаков часто выглядит либо странной, либо неполноценной. Отсюда следует, что полное описание того, как протекает устная коммуникация, невозможно без анализа механизмов, моделей, способов и инструментов взаимодействия естественного языка и соответствующего ему языка тела[5].
Проблема описания взаимодействия естественного языка и других знаковых кодов, в частности языка тела, получила в лингвистической и семиотической литературе название проблемы мультимодальности[6]. А сравнительно недавно лингвисты и специалисты в области невербальной семиотики заговорили о мультимодальной лингвистике как об отдельной науке, изучающей мультимодальную коммуникацию[7].
Задача описать то, как в коммуникативных актах невербальные семиотические коды взаимодействуют с естественным языком и друг с другом, становится еще более актуальной и важной, когда мы обращаемся к межъязыковой и межкультурной коммуникации людей. В этом случае приходится учитывать различие не только естественных языков, но также телесных и других знаковых кодов. Так, для правильного перевода на английский язык фразы
Подводя промежуточный итог, отметим, что все коммуникативные акты, встречающиеся в живом потоке устной речи, и все высказывания в этих актах можно разделить на три класса.
В первый класс попадают те акты и высказывания, в которых используется только естественный язык (их, как мы говорили выше, не так уж много). Во второй класс, и таких актов и высказываний большинство, попадают те, в которых используются сразу оба кода — языковой и невербальный телесный код (а возможно, и какие-то другие знаковые коды). Наконец, в третий класс входят высказывания, которые целиком основываются на телесном коде. Такие высказывания иногда называют жестовыми сообщениями, а сами акты — жестовыми актами (часто, характеризуя высказывание, вместо прилагательного
Если посмотреть на это деление с другой стороны, так сказать со стороны телесного кода, то можно выделить три группы невербальных телесных знаков[8].