Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Мюллер пишет: «Мы считаем, что способность «касаться» источников звука в воздухе и заставлять объекты «говорить» открывает много новых возможностей для взаимодействия человека и компьютера». В качестве примера он описывает «шариковый автоответчик», представляющий собой чашу, наполненную мраморными шариками:

Когда из чаши достают один шар и несут его через комнату, он начинает воспроизводить записанное сообщение. Если пользователь хочет удалить сообщение, он может просто вытащить его из шара и выбросить в корзину. На шарик можно даже записать ответ и отправить его автору сообщения. Если сообщение необходимо сохранить, нужно просто переложить шарик в другую чашу.

Конечно же, сам по себе шар не воспроизводит звук, это иллюзия. Это обычный шарик, а колонки, встроенные в стены, воспроизводят звук так, что кажется, будто он исходит из самого шара. Мюллер говорит: «Идея заключается в том, что все объекты сами по себе абсолютно обычные и не являются инструментами».

В другом примере Мюллер описывает, как непрочитанные электронные письма могут принять форму стаи птиц, сидящих или парящих в комнате с новыми сообщениями и срочными письмами, пролетающими прямо над пользователем, и все они также создают направленный звук. Различным отправителям можно присвоить разные звуки чириканья птиц. Если пользователь хочет прочитать сообщение, он может подойти к птице, «коснуться» ее в полете, и сообщение будет прочитано голосом. Также можно отвечать или пересылать электронные письма, поймав и направив птицу в соответствующем направлении.

Дополненный звук может создавать новые способы взаимодействия с нашим повседневным миром. И это не столько об автоответчике-шарике или о стае птиц, отправляющих ваши электронные письма, сколько о разработке новых парадигм взаимодействия, которые раньше не были возможны. Такое творческое и художественное переосмысление привычных действий вдохновляет на переосмысление того, как мы взаимодействуем с информацией и какие новые уникальные типы взаимодействия можно придумать.

Для интеграции BoomRoom в повседневную жизнь необходимо, чтобы панели с колонками стали достаточно дешевыми для встраивания их в стены вашего дома. На данный момент прототип заставляет задуматься о том, как мы можем применять дополненный звук для общения и взаимодействия с окружением, используя движения тела.

Воображение и игра со звуком

Японским стартапом в сфере носимых технологий Moff Band[77] было разработано устройство для детей, в котором сочетание движений и звуков способствует развитию воображения во время игр и чтения. Надеваемый браслет подключается к приложению на вашем смартфоне или планшете через Bluetooth и использует встроенный акселерометр и гироскопические датчики для определения того, какие движения делает ребенок. Выбранные звуковые эффекты воспроизводятся в реальном времени в зависимости от движений ребенка и включают такие звуки, как, например, барабаны и гитара, лязг японских мечей или звуки, относящиеся к различным видам спорта. Moff Band может распознать два отдельных движения: перемещение руки влево-вправо и вверх-вниз. Вы можете находиться на расстоянии до 10 метров от устройства, и оно будет реагировать на вас, издавая звуки.

Двое детей (или взрослых) могут использовать Moff Band, чтобы играть вместе. Например, повторяя движения, совершаемые во время игры в теннис, вы будете слышать звуки отскакивающего теннисного мяча, взмахивая в воздухе воображаемой ракеткой. Кроме того, вы услышите восторженные крики виртуальных зрителей. Moff Band сочетает технологию с физической активностью: дети прыгают и двигаются, чтобы проигрывать звуки.

Moff Band в сотрудничестве с телеканалом PBS KIDS запустили приложение PBS KIDS Party. Это приложение (для детей 5-8 лет) предназначено для того, чтобы помогать в обучении через творческие игры и движения при ношении браслета. Приложение включает в себя игры Freeze Dance[78] и Piñata Party[79], а также игру, развивающую счет, и позволяет записывать свои собственные звуки.

Konstruct[80] – это AR-приложение, разработанное Джеймсом Аллибаном в 2011 году, и основанное на технологии лондонской компании String[81]. Эта технология позволяет создавать виртуальные скульптуры с помощью смартфона и вашего голоса. Это еще один способ применения дополненного звука: вместо того, чтобы использовать звук для дополнения визуального восприятия, делая его более реалистичным, Konstruct создает абстрактные визуальные эффекты с помощью вашего голоса. По аналогии с Moff Band, оно реагирует на звуки, которые вы производите: речь, свист и даже если вы просто подуете на микрофон. Вы можете комбинировать различные трехмерные фигуры, цветовые палитры и настройки для создания бесконечного набора виртуальных образов. Уровень громкости также влияет на размер фигур.