Видео маппинг, видео перформансы

EINDER: Далекий воображаемый край, созданный горизонтом

Einder kinect
Мы уже давно следим за Борисом Аккетом и Тимо Леженом из компании Lumus Instruments. Вместе они создают масштабные инсталляции, исследующие управление тем, что не поддается полному контролю: тканью. В этих гипнотических инсталляциях они используют TouchDesigner, чтобы объединить все вместе. В свете их появления на фестивале Mutek MX в этом году с новой итерацией этой серии работ EINDER мы встретились с Борисом и Тимо для подробного рассказа.

Einder kinect

Derivative: Борис, Тимо, пожалуйста, расскажите нам о своем опыте работы в качестве художников, дизайнеров и креативных разработчиков, а также о том, как TouchDesigner вписывается в ваш набор инструментов.

Boris: Мой опыт всегда был связан со звуком. С тех пор, как я себя помню, я стучал по любой свободной поверхности, которую мог найти, чтобы узнать, какой звук или тембр будет у различных материалов; а также для того, чтобы вылечить свое непреходящее нетерпение ;). Неудивительно, что моим первым инструментом были барабаны; я начал играть на барабанах в 6 лет. Тем не менее, меня интересовало не только создание ритмов; композиция и создание звука всегда играли большую роль в моих музыкальных начинаниях. Неудивительно, что знакомство с дерзким демо-диском 90-х годов с древней версией eJay резко изменило направление и привело меня к созданию электронной музыки.

Электронная музыка, по сути, стала началом поиска этого сочетания элементов в звуке, свете и движении. Клубная среда также заинтересовала меня философией. В академии искусств я начал читать различных философов, таких как Гегель и Бергсон, по мере того как росло мое увлечение опытом "сейчас" и временем в целом.

Это увлечение заставило меня больше задаваться вопросом о впечатлениях на вечеринках и, в конце концов, заставило меня переключиться на инсталляции и медиа-арт. Вечеринки, которые я устраивал с друзьями, также стали более экспериментальными; я стал использовать Kinects, обработку эскизов, Max for Live и Ableton в своем рабочем процессе - это стало больше о сочетании слухового и визуального как единого опыта.

После художественной академии я сделал небольшой шаг в кинорежиссуру, с хорошим и талантливым другом-режиссером по имени Джером Фишер. Построение повествований по-прежнему является для меня важным делом, какими бы абстрактными они ни становились, и этот период, как мне кажется, имел большое значение для этого навыка.

Благодаря режиссуре мы работали для некоторых крупных имен на голландской сцене фестивалей электронной музыки, таких как DGTL, и поскольку темы фильмов становились все более близкими к темам фестивалей, я внезапно получил возможность делать эти большие, чем живые, работы или то, что я бы назвал "инструментами" для экспериментов. Определяющим проектом стал SKYLINE - линейный аудиовизуальный инструмент длиной 80 метров, созданный совместно с 4DSOUND, Dekmantel и светодизайнером DGTL Бобом Ройеном.

Для меня это был один из первых проектов, в котором ряд пользовательских программных модулей соединились в один инструмент: Videosync, Max For Live, 4Dsound, динамики и световая линия, действующие как один инструмент. С этой инсталляции начался мой путь к созданию собственных аудиовизуальных инструментов и композиций для них.

Einder kinect
Einder kinect

После множества проектов TouchDesigner вошел в мою работу благодаря сотрудничеству между мной и Тимо Леженом из Lumus Instruments. Меня попросили разработать сценографию для адаптации ранней музыки Рюичи Сакамото, и я попросил Тимо присоединиться ко мне, так как знал, что он много экспериментирует с TD. Он сделал эти прекрасные реактивные визуальные эскизы, которые нашли свое воплощение в огромном экране, пересекающем комнату - с полностью выросшим деревом под ним. Нажмите

В последующих проектах - в основном между мной и Тимо - всегда присутствует слой TouchDesigner.
Мы способны быстро создавать сложные настройки и системы, временные рамки и повествования.

Когда я сосредоточился в основном на Ableton, создавая пользовательские линии эха или пространственные настройки для управления вещами через OSC для подключения к эскизам Тимо в TD, мы легко достигаем довольно интересных слоев глубины и очень приятного рабочего процесса "вопрос - ответ".

Timo: После изучения машиностроения я поступил в магистратуру по промышленному дизайну в университете Эйндховена. Именно здесь зародился мой интерес к освещению и физическому воплощению цифровых систем. До этого я активно участвовал в ночной жизни, создавал и играл музыку на клубных вечерах и рейвах. Во время учебы в магистратуре я увлекся кодированием и электроникой, и именно так я открыл для себя TouchDesigner, поскольку хотел спроектировать что-то с сенсорными датчиками (поиск в Google заставляет вас куда-то идти).

После окончания университета в 2017 году я основал Lumus Instruments, студию, которую представляю, вместе с Джулиусом Оостингом. В 2019 году к нам присоединился еще один давний друг Тимоти Хендрикс. В Lumus мы увлечены физическими проявлениями вычислительных технологий. Посредством итеративных процессов проектирования мы создаем различные индивидуальные системы освещения и объекты, выполненные в минималистской футуристической эстетике. Благодаря нашему образованию в области архитектуры и дизайна, Р. Бакминстер Фуллер стал источником вдохновения для различных инсталляций и нашей философии дизайна.

Многие проекты, которые мы делаем, используют генеративные методы для создания новых способов живого исполнения или интересной эстетики. Для этого я практически всегда использую комбинацию Lightjams и TouchDesigner. В этой комбинации Lightjams используется для управления обычным светом, а также в качестве генератора паттернов или данных, которые используются в качестве входных данных для Touch. У меня есть опыт работы с Processing, но в какой-то момент Touch показался мне более интуитивным. Во время выступлений я использую несколько аппаратных средств на базе Teensy, которые используют MIDI-контроллеры для создания определенных выходов OSC.

Один из моих личных интересов - сложные системы, генеративный дизайн и эволюционные вычисления. Я думаю, что это захватывающе, что простые и элегантные на первый взгляд патчи могут создавать красивые сложные паттерны и поведение.

Я думаю, что именно поэтому TouchDesigner находит во мне отклик, поскольку я чувствую, что его природа в реальном времени делает его похожим на физический мир, на то, как природа действительно работает.

Это заставляет меня мыслить в тех же принципах. Конечный результат всегда получается очень плавным и непредсказуемым, поэтому с ним интересно играть.

Derivative: Как соавторы, как вы сотрудничаете в процессах создания, дизайна и производства?

Boris: В основном, одна из двух сторон придумывает дизайн или "систему". Например, Einder был задуман мной, в то время как в другом нашем очень интересном сотрудничестве - живом шоу в Contrarium - система была разработана Lumus Instruments. Einder в этом случае - особенный, поскольку я пришел в Lumus Instruments, чтобы попросить их о части движения, а также о программной части. Мы хотели иметь возможность манипулировать вертикальной тканью, придавая ей различные формы и движения, и они придумали эти удивительные управляемые линейные приводы, которые составляют основу инсталляции.

Einder kinect

По мере того, как мы исследуем и пробуем различные настройки света и движения и знакомимся с инструментом, повествование в основном формируется органично; это может быть и генеративное повествование, и абстрактный метод, но, работая над параметрами и возможностями, вы приходите к тому, каким может быть инструмент. Я думаю, мы оба верим в такой способ работы, в котором присутствуют мастера всех дисциплин.
Хороший инструмент, хорошая временная шкала инсталляции, действительно обретают форму только тогда, когда вы работаете со всеми дисциплинами вместе, а не в режиме вопрос-ответ с дистанцированием друг от друга.

Этому я также научился во время съемок: Мы с Джеромом всегда делали звук и монтаж одновременно, добиваясь удивительных результатов, которых никогда не получишь, если накладывать звук на заданную временную шкалу или наоборот.

В нашем случае, я думаю, в этом и заключается уникальность; Тимо и я можем буквально сидеть 14 часов рядом друг с другом, лепя, формируя и придавая форму этой вещи перед нами. Медленно вдыхая в него жизнь, как в живое существо - и много разговаривая о тюленях и выдрах ;)

Derivative: Что послужило вдохновением для создания EINDER?

Boris: Для начала - всегда приятно узнать этимологию этого странного слова, красивого голландского слова, обозначающего горизонт до того, как это слово вошло в наш лексикон.

EINDER возник в результате сотрудничества между мной и моим давним другом, диджеем и продюсером Элиасом Мазианом. Идея возникла благодаря интерпретации Мазианом его голландского альбома "Vrij van Dromen" (De Vlieger / Job Jobse, 2020); при прослушивании он увидел эти бесконечные повторяющиеся природные узоры; поверхность воды, пышные поля длинной травы, танцующие на ветру. Мы начали искать способ генерировать и имитировать природные узоры на сцене и пришли к дизайну, включающему серию двигателей и вентиляторов, способных манипулировать формой и движением большого куска ткани.

Пандемия позволила EINDER превратиться из идеи сценографии в полноценную инсталляцию о сопоставлении природы и синтетики. То, что зародилось как "фон", постепенно переросло в поэтическое произведение о постоянном трении между контролем и капитуляцией; ткань поддается контролю лишь до определенной степени. Параметры поддаются контролю, но каждая синтетически сгенерированная волна ведет себя несколько иначе, чем следующая. EINDER превратился в эмулятор природных узоров и явлений; вертикальная водная поверхность трансформируется в различные погодные условия и внешний вид с помощью движения, света и звука.

Einder kinect
Einder kinect

Поскольку Тимо тоже любит углубляться в философские темы, я вспоминаю один очень приятный момент, когда мы проводили резиденцию в Het Hem - очень красивом голландском музее. Мы говорили о потребности человека все контролировать и об иллюзии, что мы действительно все контролируем. В каждой итерации EINDER присутствует что-то от этого: мы создаем эту систему, чтобы создать что-то простое, которое становится непредсказуемым и сложным.
Вы можете рассматривать EINDER именно так, как поэтический перевод отношений между человечеством и природой. Мы хотим контролировать ее в той же мере, в какой хотим освободить ее.

С учетом этого EINDER, кажется, заставляет людей задуматься о том, как человек контролирует природу, как он смотрит на нее и как мы всегда хотим контролировать то, что на самом деле никогда не сможем полностью понять или постичь. И поскольку EINDER никогда не бывает одинаковым, он также, кажется, затрагивает тему времени. Когда EINDER в полном разгаре, кажется, что все происходит как в замедленной съемке. Только когда вы видите, что кто-то движется перед ним, вы понимаете: мы находимся в реальном времени. Это действительно гипнотическое произведение, не ведущее себя одинаково ни разу, кажущееся живым в каждом пространстве, которое оно занимает".

Einder kinect
Einder kinect

Derivative: Как вы шли к реализации работы и менялась ли она в процессе?

Boris: Это была действительно одна из работ, которая концептуально была последовательна на всех этапах процесса. Мы убрали проекционный слой, но в целом все осталось неизменным и верным первоначальной концепции. Самым сложным было создать нужное количество движения. В этом случае компания Lumus Instruments преуспела в разработке собственных приспособлений для линейных приводов. Тимо может рассказать обо всем.

Timo: Целью было создать инсталляцию, пригодную для гастролей и простую в установке. За годы работы мы поняли одну вещь: экономия времени при производстве на месте действительно делает конечный результат любого произведения искусства лучше.
Поэтому мы поставили перед собой задачу сделать кинетическую установку, которая может управляться очень точно, имеет обратную связь по положению, безопасна в использовании и проста в установке в различных местах.

Основой для этого послужили линейные направляющие, изготовленные компанией Almotion, и шаговые двигатели Trinamic. Вокруг этих двух частей мы спроектировали индивидуальный корпус, в который добавили необходимые функции для легкой установки (зажимы для ферм, соответствующие разъемы и т.д.). Эти светильники взаимодействуют с моим компьютером с помощью скрипта Python, так что я могу сбрасывать их, устанавливать ограничения и т.д. Сами светильники имеют элегантный черный дизайн, поэтому они не отвлекают слишком много внимания от ткани, которая является главным действующим лицом в инсталляции.

Boris: Еще одна вещь, которая, на мой взгляд, действительно выделяет эту работу, - это выбор ткани; мы сделали это благодаря потрясающему сотрудничеству с компанией Levtec, с которой мы работаем в Амстердаме. Это почти самая легкая ткань в мире, которая обладает очень сложными световыми свойствами. Я также использовал ее на солнце для некоторых внешних работ, поскольку она действует почти как водная поверхность, когда солнце преломляется в ней. Проверьте.

Einder kinect
Einder kinect

Derivative: Сталкивались ли вы с какими-то неожиданными проблемами, которые вы решали, и как вам помог TouchDesigner?

Boris: Одна конкретная проблема, в которой TouchDesigner оказался очень полезен, заключалась в том, что ткань не растягивается и очень хрупкая. Поэтому в зависимости от расстояния между приводами и провисания ткани, расстояние между положениями двух приводов не может превышать определенного значения. У нас была защита от сбоев с помощью магнитов, чтобы гарантировать, что ткань не порвется. Но нам нужно было сделать еще одну защиту от сбоев, чтобы мы могли безопасно программировать композицию без постоянного падения ткани.
В итоге я сделал патч, использующий в основном DAT, который постоянно вычисляет расстояние между положением каждого механизма и двумя соседними.

Мы можем настроить значение, которое действует как максимальное расстояние, и когда некоторые позиции превышают это значение, оно начинает ограничивать значения позиций. Это действительно оказалось спасительным, так как система всегда может вести себя непредсказуемо, особенно во время программирования. К счастью, TouchDesigner дал нам достаточно возможностей для интеграции решения в среду программирования.

Производная: Волшебство этого произведения - и я представляю, что оно должно быть еще более мощным вживую, конечно, - заключается в том, что, как вы описываете, оно ощущается как "единое и живое целое", что является большим достижением! Не могли бы вы рассказать о том, как вам удалось создать такую работу с помощью звука, света, движения и ткани?

Boris: Мы уже коснулись этого немного ранее в разговоре; я думаю, что эта магия скрыта в том, как мы строим повествование. Когда мы только начали работу над этим произведением, мы находились в самом разгаре пандемии, поэтому у нас был уникальный шанс занять огромное пространство музея, чтобы назвать его своей студией; Het HEM. Там мы смогли углубиться в движение, размещение, расстояние и все, что между ними, и узнать эту сущность, у нас было буквально 10 дней непрерывной работы над ней. Обычно у вас слишком мало времени, чтобы познакомиться с чем-то новым и его планами, но тут вмешалась реальная жизнь. ;)

Einder kinect

Во-вторых, у нас была пространственная звуковая установка для создания музыки. Так что звук, движение и свет создавались в реальном времени. Мы часто думали о жестах и способах влияния звука на свет и движение и наоборот, а затем в реальном времени создавали эти инструменты на двух компьютерах, получая живые сцены, которые, как мне кажется, иначе создать невозможно. Этот процесс "вопрос-ответ" - который я действительно редко провожу с кем-то еще, кроме Тимо - создает магию этих существ, в которых мы пытаемся вдохнуть жизнь.

Timo: Как подчеркивает и Борис, интересно, как это параллельное и совместное программирование вызывает специфическое поведение таких инсталляций. Оно отличается от того, если бы вы программировали его в одиночку. Помогает и то, что мы с Борисом действительно одинаково думаем о том, как должны работать эти системы.

Это не то, что у тебя в голове есть конкретное движение, и ты его создаешь. Все начинается с размахивания руками, и в процессе разговора возникает целая палитра моделей поведения, которые мы снова пытаемся выкристаллизовать в единый инструмент.
То, как работает TouchDesigner, перекликается с этим способом систематического мышления, создавая модели поведения, которые не допускают немедленного контроля и имеют эмерджентные характеристики.

Derivative: Вы упомянули о сумасшедшем начале года и множестве событий, не могли бы вы поделиться с нами некоторыми из них?

Boris: Я думаю, что мы пытались сделать это интервью уже целую вечность; это уже показывает, насколько мы были заняты. Я впервые работал над многими вещами за пределами Голландии. Побывал в Берлине у замечательных людей из Himmel Unter Berlin с Durée, инсталляцией с голландским ансамблем ударных инструментов о субъективном восприятии времени. Я создал первую версию PASSAGE - с Бобом Ройеном для DGTL, в которой я довел свою систему петли обратной связи до чрезвычайно сложной 800-канальной петли обратной связи в Ableton. Я посетил прекрасных людей из Metamorphosis Dance - в Мадриде - чтобы создать для них танцевальную пьесу. Инсталляция, которую мы покажем в Мексике в конце этого года, вдохновлена этой сценографией. Мы с Тимо ненадолго съездили в Тиблиси, чтобы повторить проект Сакамото с Алексом Кордзая. А я дебютировал в США на фестивале Format, выступая вместе с Дагом Эйткеном и Studio Drift. В промежутке я женился на самой прекрасной особе в мире. Совсем неплохо ;)

Einder kinect
Einder kinect

Timo: 2022 год был немного хаотичным, но приятным сюрпризом после 2021 года. Он заставляет тебя вернуться в игру в мгновение ока. Все началось с доставки одной из наших световых скульптур Photonic в Копенгаген на фестиваль света CHP. Примерно в то же время мы закончили разработку светодиодной системы, над которой работали уже давно. С этой новой системой мы сделали много проектов на таких фестивалях, как Dekmantel, Wildeburg, Paradigm и других. Это очень высокопроизводительная и масштабная система, и мы все еще изучаем все, что она может сделать в плане пространственного дизайна и программирования. Также недавно мы создали две новые работы, которые были представлены на Голландской неделе дизайна в Эйндховене. И наряду с этим мы вкладываем много сил в Lofi, клуб в Амстердаме, где у нас есть резиденция.

Einder kinect

Derivative: В своей работе вы обнаружили что-нибудь, чего не хватает в TouchDesigner, даже мелочи, которые были бы полезны для вас?

Timo: Большая часть нашей работы связана с освещением по протоколам ArtNET. Я редко использую TouchDesigner в качестве программного обеспечения, которое фактически посылает ArtNET на физическую систему. Это занимает много времени, чтобы все настроить. Для больших светодиодных систем я почти всегда использую Spout to Lightjams LED Mapper, который действительно эффективен на CPU/GPU и удобен в использовании, но он также вносит некоторую задержку. Сопоставление светодиодов и отправка ArtNET из Touch иногда может отнимать много времени, но в некоторых случаях оно того стоит.

Для обычных осветительных приборов (например, простых омывателей стен или движущихся голов) было бы мечтой иметь что-то вроде мастера для создания и подключения DMX-приборов, а также улучшенный способ работы с этими приборами в TouchDesigner. Конечно, вы можете создать нечто подобное, но грамотная интеграция этого инструмента могла бы облегчить игру и эксперименты.

Einder kinect

EventCatalog.ru — всё для организации мероприятий!