Уроки VDMX. Создание и установка ISF FX

Для выполнения этого урока Вам нужно скачать пример и ISF FX, а также набор фильтров.

Кроме того рекомендуется посмотреть вводный урок по созданию видеогенератора ISF.
Одна из самых мощных возможностей современных GPU – это способность выполнять специализированный код, так называемые GLSL-шейдеры. Шейдеры используются для создания фильтров, работающих с видео в реальном времени.

Эти фильтры можно накладывать на видеоклипы, сигналы от камер и другие генерируемые компьютером потоки.
Файл формата ISF или “Interactive Shader Format”(«Формат интерактивных шейдеров») – это фрагментный GLSL шейдер (.fs), содержащий информацию о том какие средства управления поддерживает приложение (например, слайдер, кнопка или меню выбора цвета в VDMX), а также другие метаданные – сведения об авторе, назначение шейдера и его описание.

В первой части урока будут освещены основы использования ISF в VDMX; будет показано, как установить примеры ISF-файлов, которые Вы можете скачать из интернета; а также будет дана краткая инструкция по созданию GLSL-шейдера для обработки изображений.

Совет: вместо создания новых ISF-файлов, Вы можете изменять файлы-примеры, чтобы добиться нужного Вам поведения, и объявлять в них новые переменные для управления различными интерфейсными элементами.

Применение ISF FX к слоям в VDMX

Использование файлов формата ISF в VDMX не отличается от использования других форматов, таких как CoreImage, Quartz Composer и FreeFrame. Каждый фильтр имеет специальные элементы управления, которые являются специфичекими для фильтра и отображаются как элементы интерфейса, такие как слайдеры, кнопки и меню выбора цвета.

Если Вы скачаете ISF-файл с сайта наподобие форума VDMX, то сможете установить этот файл, просто скопировав его в папку “/Library/Graphics/ISF” или в папку поддержки VDMX.

Будучи один раз загруженым FX будет показываться в окне «Layer FX» в категории “Load Asset”.
Совет: большинство стандарных FX доступны в нескольких форматах. Какой из файлов относится к формату ISF, можно определить по расширению .fs.

Создание и установка ISF FX

Во второй части этого урока будет показано, как создавался пример ‘Color Multiply’ и как можно его модифицировать, добавив несколько параметров. Для начала откройте файл в любом текстовом редакторе на Ваш выбор – например, в TextEdit, TextMate, BBEdit или SublimeText.

Каждый ISF-файл состоит из двух секций. Сначала идёт секция в формате JSON. В ней описывается сам файл, в том числе категория FX и переменная "inputImage", кооторая хранит видеофрейм поступающий на обработку. Ниже расположен GLSL-код, который описывает, как должен быть обработан каждый пиксель во входном изображении.

Просматривая файл в текстовом редакторе,  Вы увидите, что вся обработка заключается в простом перемножении значения RGBA-цвета каждого пикселя на цвет входного изображения. Верхняя секция содержит входные параметры изображения и цвета. Эти параметры объявлены в виде переменных, в VDMX представленных в качестве интерфейсных элементов управления.

Подробнее о создании FX можно прочитать на http://vdmx.vidvox.net/blog/isf. Там же Вы найдёте несколько примеров.