CUBE 3.0 сделано с любовью в TouchDesigner
Менее чем за 5 месяцев до премьеры своего нового шоу Cube V3 канадский продюсер электронной музыки и DJ deadmau5 aka Джоэл Циммерман посетил офис Derivative в Торонто для создания с нуля своего шоу в режиме реального времени с использованием TouchDesigner.
Mau5head на репетиции в Торонто.
К этому моменту он вложил много времени в изучение программного обеспечения, проведя на своем канале Twitch.tv несколько потрясающих рабочих сессий, длившихся от 18 до 48 часов и перемежавшихся игровыми схватками с участниками весьма самоуверенной и обожающей его команды.
От этого зрелища невозможно оторваться... пожалуй, самыми впечатляющими были уверенность Циммермана, ловкость и выдержка, а также то, как быстро он справился с печально известной "кривой обучения" TouchDesigner.
Спустя несколько месяцев и огромное количество проделанной работы появился полуторачасовой спектакль, с кубом в 21 фут высотой и 22 фута шириной в качестве главного действующего персонажа - этакое чудо инженерной мысли, с пульсирующими и сплетающимися визуальными эффектами, которые исходят прямо из куба и разворачиваются в причудливый рисунок. Как ни посмотри, Cube V3 - это что-то совершенно новое, и это впечатляет.
Как сказал Циммерман в Miami New Times перед премьерой шоу на фестивале Ultra Music 30 марта: "Мне хочется, чтобы все знали, насколько это чертовски, безумно глупый технологический подвиг... это важно, потому что у нас в распоряжении множество технологий, которые никто не использует."
Нельзя не отметить, что своим появлением этот монстр обязан тому, что deadmau5 - действительно отличный образец для подражания, что делает его еще более крутым и намного ближе к нам, чем кажется. Это здорово. Огромное спасибо главе mau5 за публичную поддержку TouchDesigner и разговор, который мы смогли провести.
Прямая трансляция Cube Things на Twitch.tv, где Циммерман провел бесчисленные часы, работая над Cube V3.
Derivative: В недавней статье Forbes "Who I Am", где вы говорили о девяти важнейших моментах, вы упомянули, что пункт 9 - это работа с TouchDesigner. И что, будучи фанатом видеоигр, вы подумали: "Если в видеоигре в реальном времени можно получить настолько хорошую графику, почему не сделать это на светодиодной видеостене?" Итак, теперь, когда вы воплотили эту идею в своем кубе - полностью переосмыслили, а затем переработали свое шоу с визуальным контентом в реальном времени и в среде реального времени, с модульными визуальными эффектами - как оно ощущается? - Как свобода?... Или скорее что-то, что вы делали для развлечения :)? И помогло ли это в поиске новых идей или перспектив для будущего развития? Это очень похоже на то, как вы играете или создаете музыку и аудио элементы для ваших шоу - сначала разрабатываете блоки, удаляете ненужные элементы, а затем реконструируете по живому во время шоу…
deadmau5: Создание шоу в TD в модульном пространстве было потрясающим опытом в смысле освобождения. Будучи гастролирующим исполнителем, особенно в пространстве электронной танцевальной музыки, можно очень быстро перейти в состояние застоя. И чаще всего изменения означают гораздо больше работы, чем вы думаете... поменять музыку легко, но сделать так, чтобы изменения сочетались с контентом, кодированием света... все это требует многих часов работы.
Большинству EDM шоу, как мне кажется, просто не хватает связности. Вот что я имею в виду: например, современный хедлайнер DJ dude поднимается на сцену, ставит CD и качает, тогда как VJ за пультом яростно пытается склеить видеоклипы, чтобы обеспечить хоть какую-то связь между музыкой и визуальными эффектами. Такова реальность: обычно между ди-джеем и VJ-парнем довольно большой разрыв. Не сказать, что это ужасно, но это как смотреть и слушать два разных шоу большую половину времени.
Конечно, у каждого свой подход... и я видел несколько трюков SMPTE то тут, то там... Я просто хотел разработать свою собственную систему. Нужно было что-то модульное, что мы могли бы менять на лету.
TouchDesigner на площадке на репетиции в Торонто.
TouchDesigner на площадке на репетиции в Торонто.
Рабочая группа на репетиции в Торонто.
Командный центр, репетиция в Торонто.
Derivative: Итак, как TouchDesigner прокрался в ваше шоу?
deadmau5: Как я уже говорил в других интервью и беседах с игровыми студиями... Я искал лучшее решение для сочетания визуальных эффектов и музыки в реальном времени. Конечно, советовали Unity или Unreal... но разработка движка с нуля для меня, игрового девелопера, а не художника, казалась слишком сложной задачей в то время... потом я вспомнил, что когда-то общался с одним из пользователей TD, и решил зайти на сайт и посмотреть, что у них нового, а также загрузить полезные видео.
На момент написания статьи я провел свое первое выступление здесь, в Аспене, с упрощенной версией нашей новой шоу-системы... все прошло довольно гладко! Я использовал TD Ableton и Microsoft Surface в качестве сенсорного контроллера со своей стороны и ноутбук с TD, подключенным к тому же TDAbleton tox на пульте управления, и коммуникация между компонентами была на уровне. Это маленький пробный шар по сравнению с тем, что у нас есть для шоу "big cube thing"... но очень многообещающий и перспективный.
Derivative: Вы обратились к нам с практической задачей, когда хотели получить изображение лучшего качества на каждой из граней куба. Можете рассказать, с какой проблемой вы столкнулись и на чем вы остановились? ... Теперь это общее решение в рендере TD, доступное всем пользователям.
deadmau5: Прежде чем искать помощи, я хотел освоиться с ТД... поэтому я взял столько, сколько смог, изучил основы TD, стал участником различных сообществ и попытался найти нужную информацию... затем я начал работу над своего рода прототипом того, что мне было нужно. Меньше всего мне хотелось звонить в офис и назначать встречи, ничего не зная о приложении. Представляю, как это раздражает.
Вот такой был вызов... есть 3-сторонний куб, сейчас мы работаем с картой "обратной проекции", отображая видео на трех четырехъядерных репроекциях из точки рендера, учитывающей перспективу аудитории, так что на все поверхности изображение проецируется оптимально.
Я рассматривал несколько решений, в основном связанных с закреплением углов, которое вполне себе работало с использованием анизотропного фильтра.... но у меня не получалось добиться того, что, как мне было известно, мог GL.... перепроецирование камер. Я немного фанат Octane, поэтому ... у меня был шейдер камеры OSL, который делал именно это, но с трассировкой лучей. Я показал его Малкому [Бехарду в Derivative] и сказал: Хорошо... разве мы не можем переделать камеры, чтобы работать с картой перепроецирования, такой как в OSL? И уже к концу недели у нас была опция Quad Retroject в Редакторе.
Циммерман и художник Свет, репетиция в Торонто.
Фото: Лиа Сэмс
Циммерман и художник Свет в кубе.
Derivative: Как TouchDesigner использовался в других частях шоу?
deadmau5: TD заразен, это точно. Когда мы сталкиваемся с проблемами или обсуждаем протоколы, это почти всегда заканчивается решением в TD... просто листая список операторов, пусть их и не сотни, я нахожу новые способы делать вещи, которые нам нужны. Из веб-API других приложений в... "Ооооооо вход ArtNet? Эй, что МA правильно работает с ArtNet?" Итак, мы выбирем ArtNet контроль из MA. Мы даже настроили пару Arduinos, которые передают копии данных о положении куба (вращение и наклон) для воспроизведения, чтобы по мере движения куба содержимое перемещалось вместе с ним.
Derivative: Не могли бы вы рассказать о том, как используется TouchDesigner в целом?
deadmau5: Для каждого шоу у нас 6 экземпляров TD.
Стенд: Ableton для запуска скрипта TDAbleton на Python
Стенд: Резервная копия Ableton под управлением TD Python и резевные элементы управления Surface Studio
Стенд: Microsoft Surface Studio под управлением TD (в качестве пользовательского интерфейса для производительности в сочетании с собственным ПО, которое я разработал в OSC и Midi)
Пульт управления: TD для запуска анимации пиксельных панелей через ДМС/ArtNet
Пульт управления: TD для запуска изображений для куба и светодиодной видеостены + получение данных о положении куба
Пульт управления: TD для резервного копирования элементов куба и светодиодной видеостены + получение данных о положении куба
Фото: Лиа Сэмс
Профессор Мяуингтонс, кот Циммермана на светодиодном экране.
Премьера deadmau5 Cube V3 на фестивале Ultra Miami.
Derivative: Как вы относитесь к использованию, разработке, доработке шейдеров в TD?
deadmau5: Работать с шейдерами в TD не лучше и не хуже, чем в Sublime... или блокноте. Я всегда хотел, чтобы кто-то разработал действительно интуитивно понятную и функциональную среду разработки шейдеров GLSL... но никто этим не занимается, потому что... ну, людям, которые действительно знают GLSL, не нужна IDE... и люди, которые не знают GLSL, не будут понимать, для чего нужна эта IDE... так что это тот еще вопрос. Но я все же надеюсь, что кто-то найдет способ сделать IDE с поддержкой узлов для шейдеров GLSL, которая компилирует все это в удобный автономный скрипт GLSL для лучшей работы с инстансами и ускорения разработки.
Derivative: Считаете ли вы TD удобным, таким же как модульные аудио синтезаторы?
deadmau5: Он ведет себя почти так же, как модульный синтезатор, поэтому я чувствую себя с ним уверенно... с некоторыми исключениями и некоторыми улучшениями, которые хотелось бы видеть... такие как селекторы и контейнеры и т. д. Плюс мгновенная обратная связь - огромное преимущество для рабочего процесса.
Еще один день в офисе.
Фото: Лиа Сэмс
Derivative: Какие части программного обеспечения, по вашему мнению, требуют доработки в первую очередь? (Предполагая, что мы пока ничего не слышали от вас). Не стоит перечислять все, ограничьтесь первой сотней :)
deadmau5: MovieFileIn: иногда я просто не могу не использовать HAPq рендер из Octane или запись видеоматериалов для микса в реальном времени. 100% RT-шоу - это действительно классная перспектива, но мне все равно нужно время от времени воспроизводить запись... конечно мы работаем с большим количеством различных кадров, которые я конвертирую в HAPq... иногда 24 кадра в секунду, иногда 30, иногда 60... Я хотел бы, чтобы в MovieFileIn был режим, который позволял бы растягивать скорость воспроизведения видео, чтобы соответствовать определенному количеству ударов или баров без необходимости создавать какой-нибудь неудобный виджет воспроизведения с ретриггером.
Я чувствую, что Animation COMP нуждается в серьезной переработке, хотя в то же время понимаю, что TD должен быть сумасшедшим решением, свободным и модульным ... и есть всего несколько моментов в шоу, которые действительно должны воспроизводиться в точной последовательности, пусть это будет короткий промежуток времени... хотя, безусловно, этого можно добиться с помощью анимации COMP и нескольких внешних триггеров... Но мне показалось, что Animation COMP несколько громоздкий.
Выход геометрии инстанса: Хотелось бы иметь выход для инстанса узла геометрии в Alembic. Не будем вдаваться в то, зачем это нужно, но если ты думаешь о том же, что и я, ты поймешь. ;)
Фото: Лиа Сэмс
Программирование Mau5head.
Derivative: Поговорим о Nvidia Flex/Flow.
deadmau5: У меня всегда были отличные отношения с Nvidia, они очень помогали в моих творческих начинаниях со своими продуктами в обмен на то, что я рассказываю о своих проектах и технологиях, которые использую в них. Я поговорил с несколькими приятелями в подразделении Nvidia Gameworks о Flex и Flow, и, увидев порт Flex CHOP Винсента Хоуза, я и несколько моих приятелей заинтересовались и стали делать наш собственный "superFlex CHOP", который пока довольно страшный, но функциональный и выглядит очень классно... не потеет даже при 300k частицах на 60 кадрах в секунду: D (теперь мы знаем, почему вы не опубликовали описание всех параметров в своем CHOP, Винсент).
Во всяком случае, я вернулся в Nvidia с несколькими прототипами Flex в действии, и они были очень заинтересованы, и в конечном итоге представили мне Flow - еще один тип высококачественной симуляции дыма/огня в реальном времени... С тех пор я представил Малкома нескольким своим друзьям-ботаникам в Nvid и поговорил с начальством, и теперь рад объявить, что TouchDesigner официально может включать эти пакеты.
Derivative: Есть ли вещи или моменты, которые вас удивили в TD, в приятном ключе? Или то, что помогло внедрить какие-либо инновации в ваш рабочий процесс или шоу?
deadmau5: Честно говоря, меня очень сильно удивляет тот факт, что я так далеко продвинулся - от идеи в моей голове до того места, где мы сейчас находимся. Одна из интересных вещей, которые я нашел, - это частота таких моментов... Я все время нахожу новые способы делать вещи намного эффективнее, чем когда я начинал.
Джоэл Циммерман рассматривает куб снаружи.
Derivative: Что вам нравится больше всего в новом шоу?
deadmau5: Самая приятная часть шоу для меня - это смотреть, как движется куб, и контент RT движется вместе с ним... это действительно удивительный трюк! К несчастью для меня.... Я никогда не увижу его снова, так как я всегда нахожусь внутри куба.
Derivative: По вашему мнению, как новые технологиа шоу могут изменить восприятие аудитории?
deadmau5: Думаю, они поймут это сами. Я думаю, что лучшая часть моей аудитории понимает, что я делаю, может быть, совсем чуть-чуть... они появляются в моих трансляциях и часто присоединяются ко мне в моих успехах и борьбе, а иногда объясняют, что я делаю и почему. Что касается тех, кто понятия не имеет, зачем это, ну... Думаю, они тоже почувствуют разницу... как правило, производство видео на шоу не 60 кадров в секунду... иногда, может быть... но RT в таком масштабе встречается очень редко... таким образом, чтобы люди еще лучше ощутили достоинства RT, мы собираемся добавить некоторые "умные" ходы, чтобы реализовать действительно впечатляющие визуальные вещи, которые могут легко передать, что контент сгенерирован в реальном времени... что-то вроде взаимодействия с аудиторией... Я подумаю об этом позже.
Премьера deadmau5 Cube V3 на фестивале Ultra Miami. Фото: aLIVE
Премьера deadmau5 Cube V3 на фестивале Ultra Miami. Фото: aLIVE
