Видео маппинг, видео перформансы

Остальные новости

Несколько простых способов управления музыкой и видеообразами посредством Kinect для Mac и Windows


На фото Вы видите, как выполняется отслеживание скелета пользователя с помощью Synapse в Mac.
Все ждут выхода нового Kinect, но есть много интересных вещей, которые можно реализовать с текущим поколением Kinect. А когда выйдет новое оборудование, то, возможно, что старая реализация окажется даже более дешёвой.
Работа с Kinect  несколько осложняется тем, что приходится использовать специальные средства разработки от Microsoft. Что если Вы хотите просто подключить Kinect и немного поиграться с ним, испытать его возможности?

А может Вы хотите организовать совместную работу со своими коллегами или студентами и не желаете выполнять сложную, чреватую потенциальными проблемами установку?

В этой статье будут представлены несколько простых решений. (Намеренно, не учитываются решения, работающие только на какой-то одной операционной системе или требующие более дорогих лицензий для коммерческого использования. Здесь будут представлены варианты упрощающие процесс взаимодействия или обучения. Для каких-то специфичных задач, возможно, стоит выбрать другой способ, более дорогой или заточенный под конкретную операционную систему.)
С помощью этих инструментов можно выполнить установку, не ставя драйвера (или значительно упростить их установку) и генерировать OSC (OpenSoundControl) сообщения, которые могут быть прочитаны любой виджейской программой (а, если Вы приложите небольшие усилия, то и любым музыкальным приложением).

Synapse от Райна Чаллинора – это чрезвычайно простое и очень эффективное решение. Оно просто объединяет вместе необходимые Вам данные с информацией об отслеживаемом скелете и отправляет их в виде OSC-сообщений. Более того, уже существуют примеры использования этого подхода для Quartz Composer, Ableton Live и Max. Так что вы можете сразу начать их использовать. Неудивительно, что это решение хорошо работает: Райн работает в Harmonix и создает меню для управления жестами для Dance Central. Дай Бог миру побольше таких гиков, которые бы работали сверхурочно во имя цифрового искусства.

Synapse не требует установки в OS X, а в Windows процесс установки относительно прост. (В крайнем случае в Windows для надёжности можно поставить драйвера, тогда не потребуется MacPorts – просто установить некоторые драйвера и перезагрузиться.)
Единственное замечание: Райн говорит об использовании оборудования помеченного, как «Kinect для Windows», так что более новое оборудование с меткой «Kinect для Xbox» может не работать. Эта проблема требует исследования.

Скачать Synapse для Kinect, а также примеры для работы с разными программами можно по ссылке: http://synapsekinect.tumblr.com/

На фото Вы видите отслеживание большого пальца руки в KinectA.

Правда, KinectA пошёл ещё дальше. Так же как и Synapse, в Mac программа устанавливается без каких-либо дополнительных драйверов, а в Windows требуется установка только самых необходимых. KinectA позволяет отслеживать объект, руку или скелет. Отслеживание скелета требует задания печально известного «опорного» жеста, и может вызвать проблемы во время представления, особенно, если в нём участвуют несколько пользователей. Поэтому иногда простое отслеживание объекта работает лучше.

Как и в случае с Synapse, вся полученная информация отправляется в другие приложения в виде OSC сообщений.
Методы отслеживания нескольких объектов сильно бьют по производительности (так, даже для среднего MacBook Pro с i5 это было тяжеловато). Но сама по себе технология выглядит многообещающе.
Скачать KinectA можно на http://kinecta.mihoo.de/

На этом фото Вы видите отслеживание скелета в KinectA.

Только эти два приложения (Synapse и KinectA) не требуют установки драйверов в OS X, но существует ещё достаточно популярная программа OSCeleton. Она требует установки драйвера OpenNI на все три операционные системы. Если Вы обеспокоены тем, чтобы всё работало не как попало, то лучше, стиснув зубы, установить все необходимые драйвера. Кроме того существует пакет, позволяющий установить программу в Ubuntu Linux, конечно, если Вы не фанат компиляции всего из исходных кодов.

Скачать OSCeleton можно по ссылке: https://github.com/Sensebloom/OSCeleton

 

EventCatalog.ru — всё для организации мероприятий!