На заре новой эры. Автобиография отца виртуальной реальности

Сейчас такие камеры не редкость. Сферическое видео часто снимается на концертах или в суетливой городской среде; затем пользователь может надеть шлем виртуальной реальности и смотреть во всех направлениях, пока воспроизводится видео.

Я подхожу к теме видео в виртуальной реальности.

Ограничением захвата сферического видео является то, что он не интерактивен. Здорово, когда у тебя есть возможность побывать на сцене во время большого концерта и посмотреть по сторонам, но ты ничего не можешь сделать. Ты не обладаешь свободой, ты всего лишь призрак. Я уже говорил об этом раньше.

Но записи с VideoSphere можно усовершенствовать. Можно сделать наложение виртуальных объектов; отрисованные в компьютерной графике персонажи будут передвигаться по захваченному реальному пространству и будут полностью интерактивны. Они будут реагировать на вас, и вы ощутите эффект присутствия. Компьютеры стали достаточно мощными, чтобы мы могли в интерактивном режиме изменять происходящее в захваченном пространственном видео.

Пространственное видео модифицировать легче, чем обычное двумерное, поскольку алгоритмы располагают более надежными зацепками в рабочих данных. Если мы располагаем традиционным двумерным видео, скажем, о перестрелках с участием полицейских, определить, было ли это видео модифицировано, не так уж и сложно. Какая-то деталь будет не на месте или будет виден шов. Но модифицировать пространственную многонаправленную видеозапись намного проще, потому что можно отследить любой шов и спрогнозировать любую потенциальную ошибку. Если алгоритмы получат доступ, например, к форме руки и пистолета, будет проще убедиться в том, что тени, которые они отбрасывают, отображаются корректно, даже если действия изменены.

Эта проблема быстро станет политической. Новая волна журналистов окружает сферическое видео утопическим ореолом. Как же это напоминает мне старые времена. Я предсказывал, что широкое распространение пространственного видео приведет к миру во всем мире. Усилит эмпатию. Люди увидят, насколько ужасны насилие и войны, и не смогут этого вынести. На земле воцарится мир. Поживем – увидим. Пока чем чаще используют технологию коммуникаций, тем больше с ее помощью лгут.

В любом случае Грэм посвятил несколько десятилетий своей жизни тому, чтобы облегчить жизнь детей, вынужденных находиться в больнице, и развлечь их эффектом присутствия. Он нашел однозначный способ сделать мир лучше.

Аудиосфера

Скотт Фишер проектировал для VPL технологию 3D-звука. Поскольку офис VPL располагался в домике на причале, инженеры часто жили в лодках и при случае перемещались на работу и обратно под парусом, но Скотт, единственный из всех, добирался на небольшом самолетике. Он прилетал с летной полосы за Йоемити и садился на поле рядом с нашим домиком на причале.

Скотт проектировал специальные компьютерные платы для обработки трехмерного звука. Результат можно было услышать через наушники, встроенные в шлем EyePhone.

Что такое трехмерный звук? Это сложно! Вы слышите мир в объеме потому, что у вас два уха и мозг может сравнивать то, что они слышат. Звуки поступают в уши с небольшой разницей во времени, и мозг может использовать ее для определения оси направления влево-вправо, в зависимости от источника, откуда приходит звук. Но это лишь первая линия восприятия.

Наш мозг также отлично расшифровывает эхо. Не так хорошо, как летучие мыши, но лучше, чем мы привыкли считать. Вы слышите повторяющиеся рисунки эхо, которые сообщают вам информацию о форме пространства, материале, из которого состоят пространство и составляющие его поверхности, степени влажности воздуха и вашего положения в этом пространстве.

Так что звуковая подсистема в виртуальной реальности выполняет две очевидные обязанности. Она должна регулировать время поступления звуков в каждое ухо по отдельности и приближать эхо, которое не отзывается в реальном пространстве.

Но затем в игру вступают ушные раковины, эти странные части уха, торчащие на голове. Зачем им такая неправильная спиральная форма? Она позволяет им собирать звуки от источников, находящихся прямо перед вами, немного лучше, чем от других источников, но она также придает звуку разный тембр в зависимости от направления его источника.

Платы Скотта использовали скрученную форму для имитации функций ушной раковины. Скручивание можно было воспринимать как математическую метафору. Если отмечалось изменение первоначального сигнала, изменялся и новый сигнал. Мы постоянно использовали скручивание в виртуальной реальности.

Мы помещали несчастных студентов-выпускников в тихую камеру, в которой полностью отсутствовало эхо, – безэховую камеру – с небольшими микрофонами, очень неудобно засунутыми в уши. Другой человек голосом подавал тестовые тональные сигналы, перемещаясь по всей камере. Затем алгоритмы скручивания анализировали звуки, записанные внутри уха, и применяли те же самые трансформации к любым новым звукам, которые исходили из виртуального мира.