Однажды утром, принимая меня в своем офисе, Левковиц пожаловался на местного провайдера кабельного телевидения. Прошлым вечером ученый вознамерился посмотреть документальный фильм, но видеоряд и озвучка решительно расходились во времени, так что в конце концов Левковиц вознегодовал и выключил телевизор. «Когда диктор начинал говорить, озвучка уже заканчивалась», – раздраженно сказал ученый. Время от времени такое приключалось на любом телеканале, находившемся в ведении злополучной компании. Другие клиенты нерадивого провайдера, которые встречались Левковицу, предъявляли аналогичные претензии. Более того, возникшая проблема вкратце резюмирует многолетние исследования ученого.
У восприятия времени множество граней, но, по-видимому, основополагающую роль в нем играет чувство синхронности – способность понять, следуют ли отдельные потоки сенсорной информации, такие как звуки речи и вид движущихся губ, единовременно или нет, а также исходят ли они из одного источника. Настройки нашего мозга в совершенстве приспособлены к восприятию синхронности; как показали исследования, во время просмотра видеозаписи разговора, обращенного к испытуемому, последний замечает расхождение звукоряда с видеорядом с точностью до 80 миллисекунд – менее десятой доли секунды. Если озвучка отстает от видеоряда на 400 миллисекунд, а именно менее половины секунды, зрителю намного сложнее разобраться в происходящем на экране.
Целостность восприятия дает нам множество преимуществ, и наше сознание затрачивает колоссальные усилия, обеспечивая интеграцию чувственных импульсов, причем часто жертвует точностью воспринимаемых образов. Исследования в 1970-х годах обнаружили, что мозг определяет местонахождение произвольно расположенного источника звука, раздающегося во время действия визуального раздражителя, локализованного в одной точке пространства, допустим при наблюдении за движениями рта марионетки, несколько ближе к источнику зрительной информации, чем на самом деле. По такому принципу работают чревовещатели, демонстрирующие изощренную власть механизма сенсорной интеграции в действии. Слышать голос при этом даже необязательно; для формирования целостного образа происходящего достаточно нескольких простейших тонов и пальцевой куклы, разделяемых некоторой дистанцией.
На том же принципе основана еще одна иллюзия, известная как эффект Мак-Гурка, которая проявляется в тенденции к совмещению звуковой и визуальной презентации слогов при одновременном восприятии. К примеру, если во время просмотра видео вы видите, как губы диктора на экране произносят «га», а в дубляже слышится «ба», вы, скорей всего, услышите что-то вроде «да». Эффект Мак-Гурка также может быть вызван прикосновением. В одном канадском исследовании участники эксперимента прослушивали запись голоса, произносившего четыре звука: придыхательные слоги «па» и «та», произносимые с едва различимым выдохом, чередовались с непридыхательными слогами «ба» и «да». Когда экспериментаторы одновременно воздействовали на руку или шею испытуемого небольшой порцией воздуха, доброволец слышал слог «па» вместо «ба» и «та» вместо «да», так, будто нагнетаемая волна воздуха воспринимается посредством слуха, а не осязания. Эффект Мак-Гурка проявляется с таким упорством, что исследователи задаются вопросом, не стоит ли оснастить слуховые аппараты датчиками движения воздуха, чтобы слабослышащие люди могли воспринимать звуки кожей.
Мозг прилагает колоссальные усилия, сшивая входящие данные в связную картину мира. Повзрослев, вы обнаруживаете, что звуки голоса и движения губ на телеэкране не совпадают по времени; основываясь на богатом опыте восприятия речи на слух и наблюдения за артикуляцией, вы знаете, что звуки и движения губ недалеко отстоят друг от друга во времени, и потому вы понимаете смысл слов и стоящих за ними идей. Но у грудных детей, как отмечает Левковиц, нет опыта, который бы позволил сделать подобное умозаключение. Таким образом, наблюдая за ребенком, который всматривается в говорящее лицо на экране, мы соприкасаемся с альтернативным восприятием настоящего. Задавшись целью разобраться в вопросе, Левковиц составил протокол соответствующего исследования, которое он называет опытом с говорящими лицами.