IDIRON AV - Improv #1 from GSinnott on Vimeo.

 Виджеи и музыканты, занимающиеся живыми постановками, до сих пор ищут способы использования компьютера в качестве инструмента для живых выступлений. Немного опережая события скажу, что гибрид из видеообразов и музыки  может стать основным динамичным, развивающимся в реальном времени элементом представления.

Замысловатые аудиовизуальные представления от Idiron, туториалы и патчи для Max for Live

Виджей Idiron (известный под ником Gilbert) поделился методами, которые он использует в своих аудиовизуальных представлениях. Он начинает работать над сырым материалом  «с нуля», и после множества компьютерных манипуляций получается причудливый спектакль. Idiron работает с CGI и футажами в 3D Studio Max и After Effects, затем он использует Max for Live для того, чтобы «склеить» аудио и MIDI элементы в Resolume и Ableton Live. Очень сложно, когда вам приходится работать сразу с двумя программами, но результат получается достаточно приятным.

Процесс создания такого представления не является секретом, так как Gilbert делает туториалы и патчи для Max for Live и TouchOSC, а также публикует другую полезную информацию. И такое желание поделиться с остальными не может не радовать. Это не только обогащает виджейское сообщество опытом, но и говорит о росте доверия между виджеями в этой сфере. В любом случае процесс работы одного виджея будет отличаться от того, как работают другие. Именно поэтому виджеи должны обмениваться опытом друг с другом.

Surya Buchwald предложил, каким образом можно создать язык для аудиовизуальных коммуникаций. Он фокусируется на использовании больших своеобразных музыкальных элементов. Думаю, в будущем увеличится число виджеев, занимающихся разработкой способов аудиовизуальной коммуникации, и после нескольких лет усилий работы в этой области будут систематизированы.
Gilbert рассказал CDM как происходит его работа. Вот его рассказ:

Я занялся этим проектом почти ничего не зная ни о виджеинге, ни о живых выступлениях, так как обычно создание видеообразов не сильно привязано к музыке. Как музыкант, я полагал, что у меня было всё, чтобы начать работать над проектом аудиовизуальной установки для интеграции видеообразов с моими саундтреками. Строительными блоками любого живого представления электронной музыки являются миди и аудио, и я исследовал способы, которые можно было бы использовать для управления визуальным материалом в процессе импровизации. В итоге получилась серия патчей для Max for Live, позволяющих гибко управлять данными полученными в результате преобразования Фурье (FFT) и передавать эти данные в формат Resolume через сообщения OSC.

Также я начал разрабатывать идеи, как эти данные можно использовать для управления визуальными элементами, учитывая ограниченные вычислительные мощности. Манипуляции с визуальными инструментами в реальном времени обычно очень требовательны к ресурсам компьютера, так что создавать видео клипы, которые работают с данными OSC, при этом стараясь уменьшить сложность вычислений при манипулировании визуальными элементами в реальном времени, было бы трудно без использования ресурсов графических процессоров (GPU). На практике это означает, что я создавал видео клипы с глубоководной и космической тематикой с помощью 3DS Max, HD-футажей и After Effects.

Кроме того, мои исследования позволили мне разобраться в методах взаимодействия. Я чувствовал, что важно было не погрязнуть в управлении видеообразами не уделяя должного внимания импровизации. Эксперименты с теоретическими и практическими методами в конечном итоге привели к тому, что ядром вычислений стала комбинация из Launchpad  и патча touchOSC, при этом отпала необходимость взаимодействовать с компьютером во время представления (хотя патч и позволяет использовать трекпад для изменения размеров и поворота видео клипов с помощью мультитач-жестов). Я надеюсь, что выход этих патчей и туториалов будет способствовать более тесному взаимодействию между музыкантами и виджеями, и в будущем подбор музыки для видеообразов будет более осмысленным.

А вы готовы сами опробовать эти методики, если пользуетесь Max for Live и Resolume (или другими инструментами, с помощью которых можно реализовать те же идеи)? Видео от Idiron можно скачать здесь:
http://idiron.kaen.org/av

Idiron AV tutorial from GSinnott on Vimeo.