Видео маппинг, видео перформансы

VJ Софт

HDRI новый графический стандарт

Содержание материала

В HDRI-изображениях (от High Dynamic Range Imaging) цвет кодируется не целыми, а вещественными числами. На первый взгляд может показаться, что это усовершенствование не носит качественного характера, однако профессиональные фотографы, а также эксперты в различных областях компьютерной графики и обработки изображений связывают его с грядущими революционными переменами.


Чувствительность зрительной системы, позволяющей нам ориентироваться и при сиянии звезд, и при ярком солнечном свете, охватывает диапазон от 10-7 до 109 кандел/м2. Отношение этих предельных значений составляет шестнадцатизначную величину -- поистине космические масштабы. Такой высокий показатель не имеет аналогов в мире техники: для фотонегативов и слайдов динамический диапазон ограничен четырьмя порядками, для фото- и полиграфических отпечатков, а также ЖК- и ЭЛТ-мониторов -- всего лишь двумя-тремя.

Так называемые полноцветные изображения с 24-битной цветовой глубиной (в рамках данной статьи они будут обозначаться аббревиатурой LDRI -- Low Dynamic Range Imaging) тоже не могут претендовать на точность отображения перепадов освещенности, присущих окружающему миру. Появление HDRI-форматов (динамический диапазон которых исчисляется десятками порядков), описывающих цвет вещественными числами с плавающей запятой, является естественной попыткой преодоления ограничений, присущих традиционному целочисленному представлению цветовой информации.

Даже самые простые и распространенные операции дают более достоверные результаты при использовании формата HDRI для представления исходных материалов. Слева -- горизонтальное сглаживание (motion blur) LDRI, справа -- та же операция в цветовом пространстве HDRI (в центре -- исходный вид)

Наиболее актуальная на сегодняшний день категория HDRI-изображений -- это полноохватные текстуры (environment maps), объединяющие виды из заданной точки зрения во всех возможных направлениях. Востребованность таких текстур, в свою очередь, обуславливается растущей популярностью IML-алгоритмов визуализации (от Image Based Lightning), реализованных в текущих версиях ключевых 3D-пакетов. В IML-алгоритмах HDRI-изображения используются для моделирования освещения виртуальной сцены, что позволяет дизайнерам избежать утомительного процесса ручной настройки параметров точечных источников света и облегчает задачу "вживления" синтетических объектов в реальный антураж. Хотя первые разработки в области IML с использованием HDRI-текстур появились почти 20 лет назад, высокая ресурсоемкость до недавнего времени сдерживала их широкую коммерциализацию.

Нынешняя востребованность HDRI-изображений в сочетании с высокой стоимостью оборудования для их производства открыла в 3D-индустрии новый бизнес, лидерами которого являются немецкие компании Dosch Design, Sachform Technology и Industry Graphics, специализирующиеся на издании тематических библиотек полноохватных HDRI-текстур. При цене около $100 типичная библиотека состоит из десятков картинок, записанных на нескольких CD либо на одном DVD-диске. "Правилом хорошего тона" при составлении HDRI-библиотек считается неизменность положения Солнца на небосводе во всей серии изображений. Это обеспечивает взаимозаменяемость HDRI-текстур при компоновке сцены и задании свойств материалов.

В Internet можно найти и бесплатные подборки HDRI-текстур различного качества, однако из-за нетерпимости провайдеров бесплатного хостинга к большим файлам они не имеют устоявшихся адресов. Неплохим стартовым пунктом для исследования сетевых HDRI-ресурсов является сайт одного из ведущих специалистов в области IML Пола Дебевека (Paul Debevec).

В самых простых файловых форматах HDRI -- таких, как Portable FloatMap, IEEE-69-bit TIFF и др. -- для кодирования информации об интенсивности каждого цветового канала используются вещественные числа ординарной точности (разрядностью в 32 бита). Это в четыре раза повышает требования к объемам дискового пространства по отношению к LDRI-изображениям. В итоге размер одной-единственной полноохватной HDRI-текстуры в хорошем разрешении вполне может превысить объем компакт-диска! Отметим, что эта проблема не может быть решена за счет использования стандартных архиваторов, поскольку они плохо справляются со сжатием массивов вещественных чисел.

Результат борьбы за экономию места на диске -- появление форматов Radiance HDR и OpenEXR, к применению которых тяготеют составители HDRI-библиотек. В первом из упомянутых форматов, разработанном Грегом Уардом (Greg Ward) в рамках открытого проекта Radiance, пикселы описываются четверками байтов вида RGBn, кодирующими цвет (R*2n-128,G*2n-128,B*2n-128).

Формат OpenEXR, зародившийся три года назад в недрах компании ILM (уже успевшей опробовать его в производстве спецэффектов для таких блокбастеров, как "Гарри Поттер и философский камень" и "Люди в черном -- 2"), более изощрен: цветовые каналы в нем описываются 16-битным типом half ("вещественное половинной точности", заимствованное из языка Cg от NVidia). Область положительных допустимых значений типа half охватывает диапазон от 6,1e--4 до 6,5e+4. Пользователям формата OpenEXR гарантируется обратная совместимость версий и поддержка любого количества слоев; кроме того, возможно использование дополнительных данных произвольного типа, а также применение нескольких алгоритмов сжатия без потери качества. Утверждается, что наиболее ресурсоемкий из этих алгоритмов (основанный на wavelet-преобразованиях) в типичных случаях обеспечивает примерно двукратный коэффициент сжатия. Подробное описание формата и исходный код, полезный для создания OpenEXR-совместимого ПО, можно бесплатно получить на сайте http://www.openexr.net/.

Впрочем, несмотря на относительную компактность, оба эти формата явно страдают "избыточным весом". Отсутствие возможности задания степени сжатия, определяющей компромисс между качеством изображения и размером файла (как в JPEG), становится сегодня все более ощутимым минусом, препятствующим внедрению HDRI в такие массовые технологии, как цифровое фото и 2D-графические редакторы. Есть все основания надеяться, что этот недостаток будет устранен в следующей версии OpenEXR.

Отвлекшись на время от проблем глобально-стратегического характера, представим себя на месте дизайнера, желающего задействовать современные средства 3D-графики для визуализации некоего архитектурного проекта, призванного при реализации гармонично вписаться в городской ландшафт. В своей работе мы хотели бы по возможности с максимальной точностью учесть влияние окрестных строений, зеленых насаждений и прочих факторов на освещение нового здания. В этом не обойтись без IML-алгоритмов и полноохватной HDRI-текстуры, хотя бы приблизительно соответствующей реальному ландшафту. Если в доступных нам библиотеках не окажется ни одного подходящего изображения (что вполне вероятно), то поневоле придется задуматься,


как самостоятельно получить полноохватную HDRI-текстуру?

Весь мир отражается на поверхности шара! Вероятно, первыми это явление открыли наши предки, увидевшие в яйце-писанке модель Вселенной
На этот вопрос имеется по меньшей мере три варианта ответа:

1. Наиболее легкий способ заключается в использовании цифровой камеры SpheroCam HDR, производимой немецкой компанией SpheronVR.
<--pagebreak-->
Правда, при этом бюджет нашего проекта придется увеличить примерно на 50 тыс. долл. Модель SpheroCam HDR оснащена штативом с моторизированной поворотной головкой и объективом типа "рыбий глаз" (со 180-градусным углом обзора); от обычных цифровых камер ее отличает светочувствительная матрица, выполненная в виде узкой вертикально ориентированной полосы. Матрица состоит из 53 тыс. строк, каждая из которых, в свою очередь, содержит несколько ячеек различной светочувствительности. В процессе вращения камеры яркость всех участков изображения поочередно фиксируется несколькими ячейками, что позволяет встроенному ПО определить действительное значение яркости пикселов в виде 32-битных вещественных чисел. В зависимости от условий освещенности сканирование полноохватной панорамы занимает от минуты до получаса (что автоматически исключает возможность использования SpheroCam HDR для фотографирования движущихся объектов). Готовый результат представляет собой полноохватную HDRI-текстуру размером 5300 10600 96 b, в некомпрессированном виде занимающую 642 MB.

2. Можно прибегнуть и к менее дорогой (но более трудоемкой) технологии, основанной на применении обычной камеры (к которой, впрочем, предъявляется одно обязательное требование -- возможность ручного задания выдержки). Надежно закрепив камеру на штативе, надлежит сделать серию из нескольких снимков, варьируя выдержку в диапазоне от T/64 до T*64, где T -- оптимальная выдержка, определенная с помощью фотоэкспонометра (естественно, первый кадр этой серии будет напоминать "Черный квадрат" Малевича, а последний окажется почти полностью засвеченным). Для преобразования полученных фотографий в HDRI-изображение может служить бесплатная (при условии использования в некоммерческих целях) программа Пола Дебевека HDR Shop, доступная по адресу www.debevec.org/HDRShop (ее размер -- всего 860 KB). Из другого ПО подобного рода заслуживает внимания Mac-совместимый пакет Photosphere Грегори Уарда.

Экранная копия программы, демонстрирующей вычислительную мощь последних моделей графических карт ATI Radeon. Бескомпромиссно реалистичные отражения и преломления, наводящие на мысль об использовании трассировщика лучей, в действительности построены в реальном времени с помощью программных пиксельных шейдеров, остроумно использующих заранее просчитанные полноохватные HDRI-текстуры для каждого объекта
Количество серий, необходимых для формирования полноохватной текстуры, зависит от фокусного расстояния объектива: если "рыбий глаз" позволяет охватить окружающую действительность всего "в два приема", то менее широкоугольные объективы делают этот процесс более рутинным: 15-миллиметровая оптика потребует отснять 14 серий, а 35-миллиметровая -- 50. Приведенные цифры взяты из документации к ПО RealViz Stitcher -- стандартному инструменту сшивания панорамных изображений по принципу "лоскутного одеяла".

3. Наличие зеркального шара диаметром около полутора десятков сантиметров открывает доступ к "дешевой и сердитой" технике светового зондирования (light probing), основанной на способности сферической поверхности к отражению (за исключением "слепого пятна", т. е. участка сцены, скрытого непосредственно за шаром). При умеренных требованиях к качеству текстуры как световой зонд может быть использована елочная игрушка.

Камера, надежно закрепленная на штативе, фокусируется на шар, располагаемый в месте планируемой "имплантации" синтетического объекта, дальнейший порядок действий не отличается от описанного в предыдущем пункте. Правда, для получения полноохватной текстуры оказывается теперь достаточно всего одной серии фотографий.

Отметим, что в данном случае более выгодным является использование длиннофокусной оптики: она позволяет отдалить камеру от шара, что уменьшает "слепое пятно" и угловой размер отражения фотоаппарата (а равно и фотографа, если тому некуда укрыться во время съемок).

Будем считать, что требуемое HDRI-изображение получено.


Как его увидеть?

Результат обработки HDRI-изображения с помощью алгоритма автоматического осветления/затемнения, разработанного Эриком Рейнхардом (Erik Reinhard) и его коллегами из университетов США
Неблагоприятные условия освещения ставят фотографа перед сложным выбором: установив экспозицию "по светам", он утрачивает детали "в тенях", и наоборот. Доверившись же экспозиционной автоматике, измеряющей усредненную освещенность, рискуешь потерять и то и другое (как на этом снимке)

Безупречное воспроизведение красок реального мира на экране монитора -- идея на первый взгляд соблазнительная. Но лишь на первый, поскольку более пристальное ее изучение выявляет некоторые несуразности. К примеру, устраивая на таком идеальном дисплее публичную демонстрацию фотоотчета о вашем отпуске в Крыму, придется припасти для каждого из зрителей пару солнцезащитных очков.

Эти сомнения не уменьшили энтузиазма сотрудников канадской компании Sunnybrook Technologies, которым недавно удалось добиться революционного (на два-три порядка) расширения динамического диапазона ЖК-дисплеев: на последней конференции SIGGRAPH они представили устройства, обеспечивающие яркость от 0,01 до 10 000 кандел/м2. Главной отличительной особенностью HDR-дисплеев является использование мощной светодиодной матрицы вместо обычной лампы задней подсветки, яркость свечения каждого светодиода регулируется встроенным контроллером.

Согласно утверждениям разработчиков, при внедрении в массовое производство эта технология повысит стоимость 20-дюймовых мониторов не более чем на $500, а в перспективе, с учетом прогнозируемого удешевления светодиодов, и вовсе на смехотворную сумму. Вот только организация такого серийного выпуска представляется пока сомнительным предприятием. Чтобы понять, почему HDRI-дисплеи не обладают преимуществами, способными заинтересовать массового потребителя, достаточно взглянуть на движок контрастности вашего монитора. Если он не выставлен на максимальные 100%, то сохранность зрения, видимо, имеет для вас большее значение, чем ширина динамического диапазона отображаемой картинки.

Дополнительный фактор, омрачающий коммерческие перспективы Sunnybrook Technologies, -- отсутствие на рынке графических карт с поддержкой режима 16-битной глубины цветовых каналов (нужных для полной реализации возможностей HDR-дисплеев). О том, скоро ли появятся такие карты, можно судить по следующей выдержке из онлайнового дневника Джона Кармака (John Carmack) из компании id Software, мнение которого не только формирует облик игровой индустрии, но и определяет эволюционный путь развития графических акселераторов в течение последнего десятилетия: "Следует ли продолжить наращивание динамического диапазона видеобуфера в новом поколении графических карт? Едва ли... Целесообразнее оставить его 32-битным, предусмотрев средства для компрессии диапазона значений, переносимых в видеобуфер из внутренних массивов".

Итак, если в прошлом распространение полноцветных графических форматов сопровождалось массовым переходом на новую аппаратную базу (т. е. на дисплеи true color и графические карты), то аналогичных тенденций в отношении форматов HDRI ждать не приходится. Эти рассуждения приводят нас к закономерному вопросу:

<--pagebreak-->
так ли важны HDRI-изображения, если их невозможно даже увидеть?

Фотопейзажи, снятые в безоблачную погоду, как правило, отображают небо в виде равномерно окрашенного светлого фона: солнечный диск, яркость которого выходит далеко за верхний предел стандартного динамического диапазона, сливается с небом. Тем не менее характер освещения объектов пейзажа (в частности, вид отбрасываемых ими теней) позволяет вполне уверенно судить о положении солнца. Более того, на некоторых поверхностях -- вроде влажного асфальта -- можно отчетливо рассмотреть очертания отражающегося солнечного диска.

 


Маркетологи из SMaL Camera Technologies весьма убедительно иллюстрируют выгоды расширения динамического диапазона камер охранного наблюдения: фирменная технология Autobrite позволяет обнаруживать преступника еще до того, как тот совершит преступление!

Откуда берутся резкие тени, если отсутствует компактный источник света? Как отражение может существовать без отражаемого, а преломление -- без преломляемого? Эти и другие подобные парадоксы, с которыми легко мирится гибкое человеческое восприятие, оказываются сущим камнем преткновения для алгоритмов визуализации, призванных автоматизировать "вживление" синтетических объектов в реальный пейзаж. Именно поэтому использование "логически непротиворечивых" HDRI-текстур, способных вобрать в себя как самые глубокие тени, так и самые слепящие солнечные лучи, считается обязательным условием эффективного применения IML-алгоритмов.

Впрочем, 3D-индустрия -- не единственный потребитель технологий HDRI: не менее широкие перспективы открываются перед ними также и в области цифрового фото.

Один из столпов современной художественной фотографии Ансель Адамс (Ansel Adams, 1902--1984) знаменит следующим высказыванием: "Негатив подобен нотному листу, а отпечаток -- музыкальному исполнению". Действительно, фотографы-профессионалы привыкли видеть в печати высокое искусство, позволяющее им по-разному интерпретировать негативное изображение, "втискивая" его с помощью множества ухищрений в относительно узкий динамический диапазон (называемый на профессиональном жаргоне фотоширотой) бумажного отпечатка. Избыточная фотоширота негатива для фотопечатника -- это пространство его творческой свободы, а отнюдь не бесполезная информация.

По показателю фотошироты матрицы современных цифровых камер уступают фотопленке. С другой стороны, они превосходят возможности LDRI: цветовое разрешение в RAW-форматах может составлять 12 или даже 14 b на цветовой канал. Сжатие динамического диапазона -- функция поставляемого с камерой ПО, возможности которого, как правило, ограничиваются введением одной-двух ступеней коррекции для исправления допущенных во время съемки экспонометрических ошибок. Между тем фотографии, сделанные в условиях неоптимального освещения, могут требовать более сложной доработки: к примеру, на многоплановых фото, снятых со вспышкой, переэкспонированные объекты переднего плана требуют выборочного затемнения, а недоэкспонированные объекты заднего плана -- осветления. Трудоемкая, но столь ценимая фотохудожниками техника выборочного осветления/затемнения (burn/dodge) лишь с недавних пор стала доступна пользователям популярных графических редакторов Photoshop и PictureMan, последние версии которых позволяют работать 16-битными цветовыми каналами.

Photogenics HDR -- первый полнофункциональный редактор для HDRI-изображений. Доступен за $699 либо в виде 30-дневной пробной версии

Дальнейшее развитие этого направления связано с активно разрабатываемыми в последние годы в академической среде алгоритмами автоматического выборочного осветления/затемнения (см. например, http://graphics.csail.mit.edu/~fredo/PUBLI/Siggraph2002 и www.cs.utah.edu/~reinhard/cdrom). Их авторы пытаются формализовать опыт, накопленный за 150-летнюю историю фотографии, а также учесть адаптационные свойства зрительной системы человека. Оптимальный подбор параметров, управляющих сжатием динамического диапазона в каждом участке исходного HDRI-изображения, позволяет повысить информативность результата, не искажая при этом цветопередачи и освещенности.

Эффективность алгоритмов выборочного осветления/затемнения напрямую зависит от избыточности динамического диапазона исходного материала, и поэтому условием их коммерциализации является "HDRI-чувствительность" фотоэлементов цифровых камер. Сегодня к идеалу наиболее приблизились матрицы SuperCCD SR от Fuji и Autobrite от SMaL Camera Technologies. В первом случае улучшение характеристик достигается путем размещения под каждой из микролинз CCD-матрицы двух фотоэлементов различной чувствительности. Таким образом, результат съемки оказывается суперпозицией двух обычных изображений разной плотности. Что же касается компании SMaL, она не склонна вдаваться в технические подробности: из рекламных материалов о ее CMOS-матрицах удалось почерпнуть лишь численное выражение ширины динамического диапазона, которое оказалось неправдоподобно большим: 250 дБ (т. е. более 12 порядков!).

<--pagebreak-->

Чего ждать от HDRI завтра?

Расширение динамического диапазона -- одна из ключевых эволюционных тенденций в индустрии цифрового фото, поэтому нетрудно предвидеть, что формат HDRI обречен стать внутренним стандартом представления данных в цифровых камерах. Реализация алгоритмов выборочного осветления/затемнения во встроенном ПО лишит понятие экспозиции привычного смысла. В будущем фотографы смогут бесстрашно обращать объектив в сторону солнца, снимая каждый оказывающийся в поле зрения объект с оптимальной для него экспозицией.

Современные программируемые графические карты поддерживают широкий набор операций с вещественными векторами и массивами, способными хранить цветовую информацию, что может использоваться для внедрения HDRI-технологий в игры и иные 3D-приложения реального времени. Точнее сказать, уже используется, в чем можно убедиться, запустив одну из демонстрационных программ, доступных по адресам www2.ati.com/misc/demos/ATI-9700-DebevecRNL-Demo-v1.1.exe и www.daionet.gr.jp/~masa/archives/rthdribl_1_2.zip (размер каждого файла -- около 20 MB).

Формат HDRI будет поддерживаться не только 3D-, но и 2D-приложениями, что приведет к появлению каких-то принципиально новых, еще неведомых нам разновидностей инструментов редактирования и фильтров. Собственно, первый двухмерный HDRI-редактор уже представлен на рынке: это Photogenics HDR компании Idruna Software, предлагающий пользователю, помимо привычного набора функций, некоторые приятные неожиданности вроде "пиротехнических эффектов", воспроизводящих реальную яркость пламени.

Итак, HDRI -- наиболее совершенная из известных человечеству технологий отражения реальности, обладающая неоспоримыми качественными преимуществами перед фотографией. Не странно ли в связи с этим то, что, желая обозначить наивысшую степень реалистичности и точности, мы по-прежнему пользуемся словосочетаниями "фотореалистичная графика" и "фотографическая точность"?

Непрерывная цепь усовершенствований техники запечатления трехмерной реальности на плоском изображении является одной из составляющих процесса развития фотографии. Начальным звеном данной цепи была наскальная живопись, а завершающим, возможно, станет утверждение HDRI в качестве графического стандарта.

Полноохватные текстуры могут выглядеть по-разному, однако они несут одинаковую информацию и при необходимости допустимо их преобразование из одного представления в другое

Самый распространенный класс полноохватных текстур -- птолемеевы развертки, т. е. панорамные изображения с 360-градусным охватом по горизонтали и 180-градусным по вертикали. Стандартное соотношение сторон таких разверток -- 2:1
Кубические проекции строятся из квадратных видов, снятых в шести взаимно перпендикулярных направлениях (включая верх и низ), представленных набором отдельных файлов либо в виде крестообразной развертки
Наиболее часто используемая разновидность полярных проекций -- отражение на зеркальном шаре

EventCatalog.ru — всё для организации мероприятий!