Проект RoomAlive: интерактивное виртуальное пространство, созданное с помощью проекторов и камер

Проект RoomAlive – это концепция интерактивных игр с использованием видео маппинга, какими они будут выглядеть в будущем. С помощью видеопроекторов в RoomAlive комната превращается в захватывающую виртуальную реальность. Проецируемый контент органично вписывается в окружающую среду. Игрок может взаимодействовать с проекциями множеством способов: дотрагиваться до них, стрелять в виртуальных противников, затаптывать их, уклоняться от виртуальных объектов и управлять ими.

RoomAlive создан на основе проекта IllumiRoom: в нём интерактивные проекции создавались вокруг телевизионного экрана. В IllumiRoom взаимодействия осуществляются посредством дисплея, а комната просто служит его продолжением, видеомаппинг усиливает эффект присутсвия в игре. В проекте RoomAlive основной упор делается на взаимодействии с видеопроекциями. RoomAlive демонстрирует возможные применения видеомаппинга для создания игр в будущем.

Центральным блоком RoomAlive является устройство, объединяющее в себе функции проектора и камеры глубин, называемое «прокам». Это устройство состоит из широкоформатного проектора, сенсора Microsoft Kinect и компьютера. Проектор используется для отображения, а Kinect – для отслеживнаия объектов. Обычно видеопроекторы используются для отображения информации (типа презентаций PowerPoint) на плоском экране. В RoomAlive используются дешёвые общедоступные проекторы для анимации каждого квадратного сантиметра помещения. Эта технология известна как проекционный маппинг.

Используя одно такое устройство можно создавать проекты типа IllumiRoom. А при наличии шести устройств «прокам» можно каждый квадратный сантиметр помещения превратить в интерактивный дисплей. Каждый квадратный сантиметр представляет собой пиксель, как для отображения, так и для устройства ввода.

В большинстве проектов с применением видеомаппинга проецируемый контент специально затачивается под объект, на который будет выполняться проецирование. Виджей должен учитывать форму и цвет объекта, расположение проектора, угол его обзора и т.д. В RoomAlive дизайнеру не нужно задумываться об объектах в комнате, на которые будет выполняться проецирование. Управление контентом в RoomAlive осуществляется в режиме реального времени. Проекции динамически адаптируются к цвету объектов и геометрии комнаты. Например, RoomAlive может автоматически определить, где в комнате пол и потолок, а где стены.

Устройства «прокам» просты в установке и закрепляются, как обычные светильники. Большинство программ для маппинга требуют предварительной настройки системы. В проекте RoomAlive каждое устройство прокам автоматически настраивается и фокусируется на нужном объекте. А это значит, что пользователю нужно только закрепить устройства, а затем модель комнаты будет создана шестью устройствами прокам без какого-либо вмешательства пользователя.

Для создания трёхмерных изображений с правильной перспективой в RoomAlive с помощью шести Kinect-сенсоров отслеживается положение головы человека и уже на основе этих выполняется проецирование. Похожий способ создания 3D-изображений, основанный на эффекте параллакса, используется в телефонах Amazon Fire. Также и в RoomAlive – для пользователя контент в каждый момент времени выглядит достоверно.

Над проектом работала большая группа людей из Microsoft Research: Бретт Джонс, Радж Содхи, Майк Мурдок, Равиш Мехра, Хрувье Бенко, Анди Вильсон, Айал Офек, Блэйр Макинтайр и Лиор Шапира.

Ниже представлена фото и видеодемонстрация проекта