Видео маппинг, видео перформансы

VJ Софт

Теория цифровой обработки видеоизображения

Содержание материала

 

10. О синхронизации.

Мы "перевели" аналоговый видеосигнал в цифровой вид. А что дальше? Как, например, смикшировать два видеоизображения? Скажем честно, в аналоговом виде, имея два асинхронных видеоисточника это сделать невозможно. Переведенный в цифровой вид видеосигнал должен пройти через кадровый синхронизатор, который "привязывает" по времени один видеосигнал к другому. По сути дела кадровый синхронизатор представляет собой буфер специальной видеопамяти, обычно на один кадр. Специальная арбитражная логика позволяет через независимые шины данных одновременно и асинхронно записывать и считывать из него видеоинформацию. Скорость считывания может задаваться синхросигналами, выделенными из другого видеосигнала. Следовательно, выходной поток информации видеобуфера будет синхронным с видеоинформацией второго видеоисточника. Пример построения кадрового синхронизатора приведен на рис. 17.

      obrab_sig-24.gif
Рис. 17 Блок-схема кадрового синхронизатора.

К сожалению, видеосигнал, выдаваемый аналоговыми видеоисточниками, особенно формата VHS и Video-8 не является стабильным. Длительность строки может изменяться на несколько микросекунд, тогда как для качественной и стабильной видеокартинки требуется высокая стабильность временной базы. Специальные сигнал генераторы могут выдавать временной интервал с точностью до 2 nS. Теперь представим, что в качестве второго видеоисточника в описанном выше кадровом синхронизаторе мы будем использовать этот стабильный генератор временной базы. При этом видеоинформация будет выводиться "привязанной" к стабильной временной базе независимо от "флуктуаций" входного видеосигнала. Такие устройства называются корректорами временных искажений (time base corrector).

Иногда в целях упрощения временной корректировке подвергается только строчная информация, т. е. восстановление сигнала происходит по сигналу предыдущей строки. При оцифровке нестабильного видеосигнала и "привязке" его к стабильной временной базе существует масса "подводных камней", например, если оцифровывать видеосигнал стабильной частотой дискретизации, то в разных строках будет разное число пикселей и встает вопрос что делать с "лишней" и где взять "недостающую" информацию. Разные фирмы решают этот вопрос по-разному, используя различные "фирменные" алгоритмы обработки сигналов. В простейшем случае "лишняя" информация просто отбрасывается с последующей фильтрацией нелинейных искажений. Этот фильтр может быть довольно сложным. Например, модно использовать адаптивный рекурсивный цифровой фильтр для устранения шумов из "зашумленной" видеокартинки.

Еще одна функция time-base корректора - это транскодирование и цветокоррекция видеоинформации. Используюя на входе аналоговый или цифровой мультистандартный декодер, а на выходе аналогичный кодер, можно преобразовывать сигналы из одной системы кодирования цвета в другую (например, PAL в SECAM или NTSC и наоборот). Также при наличии в time-base корректоре кадрового синхронизатора возможны некоторые спецэффекты, например, стоп-кадр ("заморозка" картинки), стробоскоп, мозаика, смазывание и т. д.

11. Устройства синхронизации видеоисточников.

Начав говорить о синхронизации, мы уже рассказали о двух устройствах, которые выполняются в виде отдельных блоков - кадровом синхронизаторе и time-base корректоре. Еще одним специализированным функционально законченным устройством является синхронный видеокоммутатор. По сути дела это вышеописанный кадровый синхронизатор со специальной кросс-коммутационной матрицей и буферными видеоусилителями. Видеокоммутатор позволяет коммутировать m входов на n выходов, обычно так и обозначается коммутатор 4х2, 8х4, 16х2 и т. п. Синхронная коммутация видеосигналов очень важна при монтаже и особенно в условиях "живого" эфира при коммутации, например, транслирующих видеокамер. Некомпетентные люди пытаются использовать для этих целей несинхронные дешевые коммутаторы или монтажные видеомикшеры с ведущим несинхронным каналом, искренне при этом удивляясь почему у них в момент коммутации происходит срыв изображения.

Надо заметить, что практически все устройства обработки видеосигналов имеют стандартизованные интерфейсы управления и возможность синхронизироваться от внешнего сигнала, что позволяет для повышения стабильности и качества обработки видеоизображения использовать специальный сверхстабильный синхрогенератор. Структура видеостудии с отдельными блоками отличается повышенной мобильностью перекомпоновки и улучшения характеристик при минимальных последующих затратах, но требуют изначально более весомых затрат при организации видеостудии. В небольших (а тем более домашних) видеостудиях почти все функции возлагаются на видеомикшер, обычно сочетающий в себе вышеописанные устройства и который является "сердцем" видеостудии. Итак, какие бывают видеомикшеры? 

12. Видеомикшеры. 

Микшеры живого эфира. 

Как правило, это большие по размеру и по предоставляемым возможностям устройства. Их назначение обеспечение трансляций событий, происходящих в реальном времени. В основном это эфир новостийных выпусков, концертов, спортивных соревнований, и т. д. Число источников часто превышает два десятка. Среди них преобладают видеокамеры, затем идут записывающие устройства и один-два источника графики. Соответственно такому количеству устройств, предусматривается и число входов на микшере. Преимущества: нет необходимости использовать матричный видеокоммутатор на входе, что облегчает работу в эфире. Звук, обычно, микшируется отдельно. Такие микшеры нередко применяются и традиционном монтажном производстве. Если производитель подразумевает работу в прямом эфире, то все основные функции должны быть вынесены на отдельные кнопки. Цена качественных микшеров живого эфира не ниже 150-200 тысяч долларов.

Монтажные видеомикшеры. 

Там, где не так много источников, необходимость использования больших микшеров не возникает. В настоящий момент это наиболее распространенный случай в практике наших телекомпаний и видеостудий. Многие студии используются в свободное от эфира время в качестве аппаратных монтажа. Именно поэтому в качестве универсальных устройств в региональных видеостудиях используются недорогие и надежные монтажные видеомикшеры. Такие, как Sony DFS-500, 300, Panasonic WJ-MX 20, MX30 , MX50. В последнее время к ним прибавились модели Magic DaVE фирмы Snell&Wilcox, JVC 3000 и JVC 5000. Magic DaVE подкупает тем, что это очень недорогое устройство является одновременно микшером и генератором видеоэффектов (DVE-digital video effects). Цены на эти устройства от единиц до нескольких десятков тысяч долларов.

Выходные эфирные микшеры.

Выходные эфирные микшеры являются устройствами узкой специализации. Их единственной задачей является окончательное формирование выходного эфирного сигнала телекомпании с возможностью оперативного выбора. Кроме "развитых" компаний, их используют в составе многоканальных эфирных комплексов или в комплексах, ведущих одновременное вещание в нескольких часовых поясах. Цена рассмотренных устройств от 20000 долларов.

13. Традиционный и цифровой монтаж видео.

Для того чтобы лучше понять преимущества цифровых технологий редактирования и монтажа, активно используемых в настоящее время в производстве видеопродукции, необходимо вернуться на несколько лет назад и рассмотреть старую классическую схему, отточенную практикой предыдущих десятилетий. Базовая монтажная система состояла из двух видеомагнитофонов (Player-Recorder) и управляющего ими монтажного контроллера.

obrab_sig-02.gif

При этом собственно процесс монтажа выглядел следующим образом:

obrab_sig-03.gif

Отбираемая пользователем "полезная" видеоинформация (фрагменты A и B) с исходной ленты (источника) на первом магнитофоне (Player) переписывалась на результирующую ленту на втором магнитофоне (Recorder), в то время как неудачная или избыточная информация оставалась на источнике. Получаемая в результате новая запись становилась так называемой Мастер кассетой. При этом для точного позиционирования всех выделяемых видеофрагментов монтажный контроллер использовал специальную числовую информацию (тайм-код), записанную на ленту одновременно (параллельно) с видео (каждый кадр обладает своим уникальным номером).

Монтажная система из трех магнитофонов.

Если же было необходимо не просто последовательно собрать (стык в стык) отдельные видеофрагменты в единое целое, но построить между ними плавные переходы со шторками и/или реализовать другие эффекты, то требовалась более сложная монтажная схема, основанная на одновременном использовании двух лент (A и B) с исходным материалом и соответственно двух Player. При этом монтажный контроллер, опираясь на информацию о тайм-коде, управлял всеми аппаратами, в том числе и микшером.

obrab_sig-04.gif

Добавляя к этому генератор титров и/или аудио микшер, приходили к необходимости использования следующей т.н. A/B-roll монтажной системы. Отметим, что она включала в себя набор независимых устройств (порой различных производителей), которые для достижения необходимого результата должны были работать абсолютно синхронно, прецизионно точно и в реальном времени.

  obrab_sig-05.gif
obrab_sig-01.gif

14. Цифровое редактирование.

Несколько лет назад появилась возможность выполнения видеомонтажа и редактирования "внутри" компьютера. Эта технология получила название нелинейного монтажа, поскольку позволила операторам прямое обращение к необходимым кадрам/фрагментам видео, записанным на жесткий диск компьютера, т.е. позволила избегать утомительного процесса постоянной (линейной) перемотки ленты вперед-назад при просмотре/поиске этих фрагментов. Подчеркнем, что оцифрованные фрагменты видео перед записью на диск подвергаются компрессии (как правило, MJPEG) в 3-10 раз, что неизбежно приводит к определенной потере качества (тем меньшей, чем меньше степень компрессии). Первоначально графический интерфейс подобных систем напоминал панель управления классического контроллера-микшера, а их функциональные возможности повторяли "привычные" оператору функции. Развитие технологии цифрового редактирования наряду с наращиванием производительности персональных компьютеров, в том числе методов компрессии, привело к реальной возможности создания профессиональной по качеству видеопродукции на базе стандартного компьютера.

Каковы основные преимущества цифрового нелинейного монтажа? Прежде всего, это сохранение исходного уровня качества записанных на диск фрагментов при их копировании (вне зависимости от числа копий). Во-вторых, это компактность. Нелинейная видеостудия фактически представляет собой компьютер, специально сконфигурированный для этих целей, и, оснащенный специальной системой нелинейного видеомонтажа и соответствующим программным обеспечением. При этом отпадает необходимость в монтажном и микшерном видеопульте, линейки из двух и более видеомагнитофонов , титровальном генераторе и т. д. Для записи готового смонтированного видеоматериала фактически необходим лишь один видеомагнитофон соответствующего формата . В третьих, это большая гибкость и высокое качество . Возможности по обработке и монтажу видеоматериала определяются лишь возможностями используемого компьютера и программного обеспечения и могут оперативно изменяться и наращиваться. Кроме того, при оснащении соответствующим оборудованием и программным обеспечением, можно превратить эту систему и в профессиональную цифровую аудиостудию для озвучивания изготавливаемых видеороликов и монтажа фонограмм.

Кроме того, это:

  • Отсутствие выпадений из-за дефектов ленты,
  • "Мгновенный" доступ к любому фрагменту,
  • Более широкие возможности контроля процесса монтажа,
  • Более высокое качество конечной продукции,
  • Возможность использования новых творческих решений и создания новых визуальных эффектов, обусловленных именно цифровыми возможностями манипулирования с видео (например, трехмерная анимация, виртуальная студия),
  • Автоматическая синхронизация видео со звуком.
 

15. Одно и двухпотоковая архитектура систем нелинейного видеомонтажа.

Вышеописанные преимущества нелинейных монтажных систем привели к их повсеместному распространению. Однако в первое время они в основном использовались для задач постпроизводства. Дело в том, что стандартная цифровая система, аналогично "базовому" аналоговому монтажному комплексу, построена по однопотоковой архитектуре. Это означает, что при просчете реально задействуется только одна копия исходного видео (AVI-файл). В то же время, если требуется несколько больше, чем просто разрезать/склеить имеющиеся фрагменты, то необходимо сформировать и задействовать вторую копию цифрового видео (по крайней мере, ее части). Т.е. для создания любого микшерского перехода/эффекта между двумя клипами (A и B) в оперативной памяти компьютера необходимо одновременно содержать кадры как заканчивающегося клипа A, так и начинающегося клипа B, последовательно загружая их с жесткого диска, декомпрессируя и производя просчет новых кадров результирующего клипа, затем осуществляя обратную компрессию и запись на диск. Этот процесс, нередко называемый рендерингом(rendering), иллюстрируется следующей схемой:

obrab_sig-06.gif

Однопотоковая цифровая монтажная система

Подобные вычисления требуют совершения миллиардов специализированных операций над пикселями изображений. Очевидно, что скорость их выполнения существенно зависит от быстродействия процессора. Стандартные PC являются универсальными машинами, т.е. оказываются сравнительно медленными с точки зрения решения данной задачи. Например, Pentium 150Mhz может выполнять только около 50 миллионов операций в секунду, распределяя их между различными задачами. В результате при просчете даже сравнительно простых эффектов и переходов требуется в десятки раз больше времени (а порой и в сотни раз - зависит от сложности эффекта), чем собственно время их проигрывания. Нередки ситуации, когда оператор, задав на первый взгляд правильные параметры перехода, вынужден подолгу ожидать окончания процесса его просчета, чтобы потом отвергнуть полученный результат и повторить весь цикл заново с новыми параметрами. Очевидно, что предметом мечтаний является выполнение цифрового монтажа без значительных затрат времени на просчет. В идеале - в реальном времени, когда результат можно сразу видеть на экране контрольного монитора и/или записать на мастер-ленту. Это позволило бы использовать нелинейные монтажные системы не только в пост -, но и в оперативном (on-line) производстве.

Двухпотоковое цифровое редактирование

Современные платы нелинейного монтажа (например, miroVideo DC30plus для PC или VlabMotion для Amiga) для операций компрессии и декомпрессии видео эффективно задействуют установленные на них микросхемы, что, безусловно, ускоряет рендеринг, но не приводит к его выполнению в реальном времени. Для достижения последнего необходимо использование специализированного вычислительного устройства, "заточенного" на просчет определенного класса эффектов и переходов (таких как, Pinnacle Systems Genie - для трехмерных эффектов). Забегая вперед, отметим, что поскольку набор аппаратно выполняемых эффектов фиксирован для каждого устройства и зависит от его специализации и модели, то всегда будут возникать нестандартные задачи, полностью или частично загружающие процессор компьютера. Это тем более верно, что одним из преимуществ цифрового редактирования видео является возможность почти неограниченного творческого самовыражения, реализации оригинальных идей и создания сколь угодно сложных и неповторимых эффектов.

Однако даже наличие подобного специализированного устройства само по себе не решает проблему рендеринга - на его вход необходимо одновременно подавать два потока декомпрессированного видео. К счастью, общий уровень развития компьютерной техники, достигнутый за последние годы, позволяет и эту сложную задачу эффективно решать на базе стандартного РС - при определенной оптимизации его дисковой подсистемы.

Таким образом, системы нелинейного монтажа реального времени используют двухпотоковую плату компрессии/декомпрессии видео и дополнительную плату собственно цифровых эффектов. Впрочем, набор микросхем для выполнения в реальном времени заданных эффектов микширования может быть установлен и прямо на плате компрессии (например, как у Pinnacle Systems ReelTime - более 130 двумерных эффектов выполняется в реальном времени). И даже при этом может быть использована дополнительная плата, расширяющая набор аппаратно выполняемых эффектов (например, Pinnacle Systems ReelTime NITRO = ReelTime + Genie).

Оперируя с двумя потоками, подобные цифровые системы могут выполнять в реальном времени и другие необходимые функции, присущие классическим монтажно-микшерским аналоговым комплексам, например, титрование (titling) или различные виды рир-проекций ("keying", "ключевание", проекции с использованием эффектов прозрачности).

Двухпотоковый процесс монтажа выглядит следующим образом:

obrab_sig-07.gif

Резюмируя, повторим основные преимущества такого подхода: 

  • Эффекты и переходы, титрование и рир-проекции выполняются в реальном времени.
  • Оператор может оперативно менять параметры переходов, достигая искомого результата без затрат времени на просчет многочисленных вариантов.
  • Отсутствие повторных циклов операций компрессии/декомпрессии, что обеспечивает более высокое качество результирующего видео. В двухпотоковых системах первый раз видео компрессируется при оцифровке и записи на жесткий диск, второй раз декомпрессируется перед подачей на блок эффектов и выводом результата. Напомним, что в однопотоковых системах этот цикл выполняется, по крайней мере, дважды: первый раз при записи на диск исходного видео и последующем восстановлении перед просчетом эффекта, второй раз при записи на диск результата просчета и его восстановлении для окончательного вывода.
  • Файлы с результирующими клипами нет необходимости записывать на диск, что позволяет экономить пространство последнего.
  • Высокое качество налагаемых на исходное видео титров (отсутствуют искажения границ букв и другие артефакты, обусловленные неизбежными ошибками MJPEG компрессии). В двухпотоковых системах титры (так же как и другая компьютерная графика) сразу идет на вывод - минуя промежуточный этап компрессии и записи на диск.
EventCatalog.ru — всё для организации мероприятий!