Видео маппинг, видео перформансы

Новости VJ железа

Новый Kinect становится ближе к телу

На фото представлен новый Kinect. Нельзя сказать, что он стал лучше выглядеть, но «видеть» он стал действительно лучше.
Виджеи всегда с интересом следят за последними новостями из мира игровых консолей, поскольку они самым непосредственным образом связаны с инструментами для создания визуальных представлений.
Итак, наряду с новой Xbox Microsoft выпустили новый Kinect.


Новый Kinect использует уже привычную технологию инфракрасного слежения (более точную и идеальную для работы в темноте), а на выходе выдаёт RGB-изображение. Параметры выходного изображения: 1080p, 30-60 fps (30 fps для слежения и 60 для видео, хотя информация на этот счёт встречается противоречивая). Различные доклады говорят о том, что снизится задержка. Если верить слухам о Kinect, то это произойдёт благодаря перенесению некоторых функций обработки слежения на аппаратный уровень. Вы, наверняка, не раз сталкивались с тем, что слабым местом проекта становилась попытка выполнить обработку слежения на компьютере (или консоли). Люди, занимающиеся музыкой возлагают на снижение задержки в обработке даже большие надежды, чем геймеры. Впрочем, что представляет собой новый Kinect, посмотрим на практике.

Ещё одна хорошая новость – слежение становится «ближе к телу», анализируемая поверхность теперь разбивается на совсем маленькие кусочки. Wired сообщили некоторые детали о том, как изменится технология слежения. Вместо карты глубин, представляющей собой 3D-изображение на основе двух разных изображений с инфракрасных камер, новая технология использует «модулированный» инфракрасный свет. Это новая технология, и её детали ещё не совсем ясны – было бы интересно услышать Ваше мнение.

В прошлых версиях Kinect сенсор занимался отслеживанием людей в комнате используя «структурированный свет»: он посылал инфракрасный свет, затем измерялись деформации поверхностей в комнате, и создавалась трёхмерная карта глубин. Однако, такая карта имела слишком низкое разрешение: одежда и диванные подушки подчас были не различимы. В новой модели Kinect наружу посылаются модулированные лучи инфракрасного света, затем измеряется время, которое требуется каждому фотону, чтобы вернуться. Это так называемая технология «time-of-flight» (технология измерения времени полёта), каждый пиксель CMOS сенсора как бы превращается в радар, что позволяет получить беспрецедентную чувствительность – даже в абсолютно тёмной комнате.

Но почему? Основная идея ясна: используя модулированные лучи света, можно определить расстояние до объекта, измеряя фазовый сдвиг между излученным и принятым светом. Но ведь это очень похоже на технологию с одним инфракрасным или ультразвуковым сенсором, только здесь вместо массива пикселей используется эмиттер. Вы можете поизучать документацию по теме (http://www.imagesensors.org/Past%20Workshops/2009%20Workshop/2009%20Papers/058_paper_Oggier_invited.pdf) или почитать дискуссии на форуме beyond3d (http://beyond3d.com/showthread.php?s=a712463a40a23e60d8c7940cedf56d4f&p=1738546#post1738546).

Так или иначе, в результате мы получаем более точное слежение:

  • Большее количество людей (в Microsoft говорят, что до шести человек) могут отслеживаться независимо друг от друга, без добавления дополнительный устройств Kinect (как делали некоторые).
  • Более различима разница между людьми и объектами (такими, как одежда).
  • Могут отслеживаться отдельные жесты – мимика лица или движения пальцев.

Чего же ещё не хватает? Не хватает информации, насколько новая система будет устойчива ко взломам. В последнее время не редки были случаи, когда хакеры получали доступ к изображению с камеры и данным слежения, даже не смотря на то, что Microsoft не успевала обновлять соответствующую документацию в SDK. Хотелось бы большей открытости, особенно учитывая шумиху, созданную хакерами вокруг Kinect, и зная, что Microsoft хотели бы сделать игровой дизайн (даже можно сказать, искусство) более творческим с помощью их инструментов для платформы Xbox.

Также можно посмотреть на хорошие успеши наших товарищей.

MIT Technology Review тоже задаются вопросом отношений между хакерами и Kinect, о чем можно прочесть в их статье: «Что хакеры сделают с новым Kinect?» [http://www.technologyreview.com/view/515276/what-will-hackers-do-with-the-new-kinect/]
Это статья во многом спорна, так же, как и моя. Но даже если Вы не планируете отслеживать движения пальцев или мимику, любые технологии, обеспечивающие более точное отслеживание или уменьшающие задержки в обработке, будут способствовать развитию приложений и искусства в целом.

Эти технологии действительно очень любопытны, в чём можно убедиться, посмотрев видео ниже:

WIRED раскрывает некоторые детали о технологиях Kinect:

Будем следить за дальнейшим развитием Kinect, особенно за информацией от хакеров. Если у Вас есть какая-то информация о ходе разработки или Вы хотите поделиться своими впечатлениями об использовании «модулированного» инфракрасного света, не стесняйтесь!
 

EventCatalog.ru — всё для организации мероприятий!