Создание FX для отслеживания лица и использование его в качестве источника данных в VDMX

Среди инструментов видеоанализа, доступных в Quartz Composer, есть объект “Detector”, который анализирует входной видеосигнал и на выходе выдаёт размер и координаты любого лица внутри кадра. Эта информация затем может быть использована для автоматической обрезки видеопотока с камеры в режиме реального времени, для настройки параметров FX или для создания интерактивных художественных инсталляций, реагирующих на расположение людей в пространстве.

Для этого урока были созданы две базовые композиции с использованием простого объекта «Detection», который можно загрузить в VDMX для захвата лица. Этот объект можно подключать различными способами. Кроме того Вы можете использовать этот пример в качестве основы для добавления более сложного поведения, например, для отслеживания нескольких лиц в одном кадре или для вывода дополнительной управляющей информации.

Первая композиция предназначена для загрузки в качестве плагина, работающего с входными данными. Она выполняет обрезку изображения обнаруженного лица и позволяет задавать значения различных управляющих параметров, таких как, размер изображения и его позиция на слое.

Вторая композиция представляет собой FX, который можно применить к любому слою для автоматического размещения накладываемого видеопотока поверх изображения лица из входного потока. Видеопоток может быть выходом с плагина или любого другого видеоисточника.

Замечания

Плагин “Face Capture” находит в кадре лицо и обрезает его для дальнейшего использования в VDMX.

Используйте “Face Replacer” для замены обнаруженного лица альтернативным видеопотоком.

Помимо самого лица в других QC-патчах из источника данных можно получить значения длины, ширины и центра лица.

Можно выполнять замещение лица из реального видеопотока камеры на предварительно записанное лицо-футаж.

Объект “Detector” способен находить позиции глаз и рта на лице.

Для быстрого доступа к плагинам и FX-папкам используйте пункт Open Assets Folder из меню Help.

По ссылке можно скачать Quartz Composer FX и файл проекта для VDMX, которые потребуются в этом уроке.