Пиксель. История одной точки

Блок-схема из главы «Оттенки значения» естественным образом продолжается в направлении виртуальной реальности. Эрик Дарнелл, аниматор студии DreamWorks Animation, вместе с Морин Фан (в качестве генерального директора) основал в Кремниевой долине компанию Baobab Studios, занимающуюся виртуальной реальностью. Ключевые фигуры компании, такие как Ларри Катлер (технический директор), — выходцы из DreamWorks и Pixar. Консультантами стартапа стали Гленн Энтис из DreamWorks, Глен Кин из Disney и я — из Pixar. Компания Baobab уже создала и выпустила несколько короткометражных персонажных анимационных фильмов — в виртуальной реальности, — отмеченных профессиональными наградами. Точно так же сейчас создают VR-контент многие студии визуальных эффектов и игровые компании.

В настоящее время практический интерес в области Цифрового Света вызывает дополненная реальность (AR), где синтезированное изображение в режиме реального времени комбинируется с отображением реального мира. В ней сочетаются фиксация и создание, аналитический и синтетический Цифровой Свет. Реальный мир оцифровывается в режиме реального времени. Устройство дополненной реальности синтезирует вымышленный мир в реальном времени и объединяет его пиксели с пикселями реального мира, чтобы создать новый вид визуального восприятия. В простейших случаях происходит наложение синтетической сцены на реальную с использованием альфа-канала. Реальный мир — просто двумерный фон для синтетического переднего плана. На самом деле иногда реальный мир вообще не оцифровывается, а просто оптически комбинируется с синтетическими изображениями с помощью специальных очков.

Художница Дарси Гербарг — пионер исследований границ Цифрового Света с помощью дополненной реальности. Ее работа иллюстрирует категории этой книги. В качестве основных инструментов она использует программу для рисования в виртуальной реальности Tilt Brush от Google и Adobe Photoshop, классический двумерный пиксельный фоторедактор. Tilt Brush позволяет рисовать в трех измерениях с помощью мазков, соответствующих Центральной Догме. Они смоделированы в пространстве евклидовой геометрии, к ним применены текстурные карты, придающие им вид рельефных мазков, они отбрасывают тени в соответствии с ньютоновской физикой и рассматриваются в линейной перспективе. Художница совмещает рисунки в виртуальной реальности с изображениями из реального мира с помощью специальной программы в своем мобильном телефоне. Другими словами, она перемещается, рассматривая с выбранных точек зрения на экране мобильного телефона свои трехмерные VR-мазки, наложенные на двумерные изображения, скажем, интерьера студии. Затем она переносит понравившиеся сцены дополненной реальности в Photoshop и творчески изменяет содержимое пикселей по своему желанию. Ее работы затягивают вас в двумерное пространство новым и очень сильным способом, который не подчиняется Центральной Догме, а использует ее (рис. 9.2).

В настоящее время самой передовой областью Цифрового Cвета выступает еще более сложная концепция, которую часто называют смешанной реальностью (MR). В ней, в отличие от AR, компьютер воссоздает трехмерную структуру из реального мира, так что кажется, будто синтезированный мир осмысленно взаимодействует с ней — например, синтезированное животное вполне убедительно ходит по вашему столу в реальном мире. Это похоже на то, что делает наш мозг — операция, обратная компьютерной графике, разумеется, с учетом Центральной Догмы. В AR сочетаются только пространства Отображения реального и синтезированного миров. В MR объединяются пространства Творчества — переплетаются внутренние модели двух миров.

Сейчас, когда я пишу эту книгу (в 2020 году), существует несколько технологических подходов к MR: компания Microsoft продвигает свое устройство HoloLens, а стартап Magic Leap — прямую проекцию изображения на сетчатку. Мы пока еще ждем, когда эти — и другие — необычные устройства вступят в пору зрелости. Обратите внимание, что они представляют, соответственно, решения «до зрачка» и «после зрачка», используя терминологию из главы о фильмах и анимации. Зрачок здесь выступает жесткой границей между тем, что происходит снаружи и внутри нашего мозга.