Screen Lab 02. Исследование новых способов восприятия
В декабре 2012 года три виджея работали в Салфордском университете по приглашению Эллиота Вудса и Кита Тёрнера, как участники ScreenLab 0х02. Они работали над проектом ‘Future of Broadcast’, целью которого было исследование новых способов восприятия и взаимодействия. Приглашённые виджеи (Кайл Макдональд из США, Джоан Лемерсьер из Франции и Джоел Гевин Льюис из Великобритании) более двух недель разрабатывали новые инструменты и методы для будущих студентов и виджеев. Кроме того в этом проекте принимали участие талантливые студенты, обучающиеся в университете по направлениям, связанным с искусством и технологиями в искусстве, а также студенты, занимающиеся созданием цифровых медиа средств.
Были сформированы две команды, которые контролировал и поддерживал Эллиот Вудс. Используя ‘Octave’ (инструмент для работы с виртуальной реальностью, созданный в Салфордском университете), Джоан Лемерсьер и Кайл Макдональд вдохновлённые Платоном (философом, жившим в 360 г. до н.э.), работали над проектом, идея которого вращается вокруг четырёх базовых элементов природы — земли, воздуха, воды и огня. В виртуальной реальности каждый из элементов представлен правильным многогранником.
В новом кампусе MediaCityUK Салфордского университета, Джоел Гевин Льюис занимался изучением фотографий с чрезвычайно слабым освещением с помощью фотографа Ричарда Мефтана. В сотрудничестве с SunjoyPrabakaran Джоел работал над созданием эффекта светового луча в масштабных проекциях и над способами управления этим лучом в реальном времени.
В результате этой долгой работы была создана богатая коллекция идей, фрагментов кода и методов для исследования новых режимов восприятия.
Проект Aether («Эфир») от Кайла Макдональда и Джоана Лемерсьера
Работа Джоана Лемерсьера и Кайла Макдональда, прославляющая пять Платоновых тел – это необычная среда виртуальной реальности: пространство, в котором без геометрических примитивов не было бы ничего. С помощью 14 проекторов, технологий отслеживания движений головы, стерео 3D, захвата движений и генерации волнистой поверхности перед зрителем возникает всепоглощающее аудиовизуальное пространство. Пока решались проблемы с маппингом, дуэт создал несколько небольших работ посвящённых всё той же теме исследования режимов восприятия.
DepthAO
Вдохновлённый тем, как Джоан использует эффект затемнения «Ambient occlusion» и другие шейдерные эффекты в vvvv, Кайл попытался воплотить идеи Джоана в OF. Этот проект был создан для проверки метода, создающего эффект «Ambient occlusion» для поверхностей простым наложением высокочастотного фильтра на карту высот. Комбинируя эффект «Ambient occlusion» с направленным освещением, Кайл допустил ошибку. В результате чего получилась поверхность, похожая на подсвеченные изнутри облака.
InfiniteTunnel
Этот пример является начальной стадией эффекта пришедшего из кинофильмов, имитирующего перемещение в космическом пространстве, сквозь пространственно-временные туннели. Кайл оставил эту версию в таком очень упрощённом виде, так как она наглядно демонстрирует принцип создания таких туннелей.
Meteorite
Этот пример был предназначен для использования в одной из сцен с метеоритным дождём. За основу взят набросок из блокнота Джоана.
OctaveAudioControl
Это часть установки с системой генерации волновых полей, используемой для создания объёмного звука. Это приложение использовалось только в процессе тестирования и не вошло в финальную версию. С помощью него разработчики настраивали звук в соответствии с расположением объектов в пространстве. С каждым дополнительным человеком в инсталляции (как показано на скриншоте) требовалась дополнительная настройка звука. Кроме того, источник звука перемещался в пространстве так, что человек, находящийся в этом виртуальном пространстве мог ощущать откуда звук идёт.
OctaveMesh
Кайл потратил несколько часов на создание детальной модели пространства в SketchUp, которую и он и Джоан могли бы использовать для настройки. Кроме того модель использовалась в качестве инструмента, позволившего им создать иллюзию того, что физическое пространство будто бы тает. Меш был протестирован в OF для того, чтобы убедиться, что файл Collada хорошо структурирован. Один из сегментов финального представления использовал этот меш пространства, тем самым создавая частичное перекрытие между реальностью и виртуальностью. Поскольку никто не может видеть структуру за проекционными экранами, то когда человек располагается в виртуальном пространстве, структура Octave просто растворяется в каркасной модели.
PlyLoader
Этот набросок первоначально планировалось использовать в качестве узла vvvv для загрузки простых файлов .ply. Но в последствие набросок был превращён в приложение для рисования Платоновых тел.
RandomMesh
Это был один из основных эффектов, который планировалось использовать во множестве сцен. Были созданы специальные элементы посредством системы Vicon (с использованием ofxVicon). Всякий раз эти элементы пересекали горизонтально ориентированную поверхность пола и вызывали в полу эффект упавшей капли с расходящимися по всей поверхности волнами. На физическом полу они были размечены посредством изоленты, чтобы получить чёткие границы для маппинга, но проверить систему не было времени.
RippleEffect
В основе RandomMesh лежит карта высот, которая создаётся с помощью простого волнового эффекта.
TunnelTransition
Является дальнейшим развитием InfiniteTunnel. Этот пример содержит множество интересных параметров, которые можно настраивать вручную, для получения уникальных переходов из основного пространства к каждой из сцен. Один из наиболее интересных участков в коде отвечает за управление перемещением камеры. Этот код использовался для создания ощущения полёта вдоль туннеля без столкновения с его поверхностью, как в InfiniteTunnel.
TestPattern
Для настройки виртуального пространства требовался какой-нибудь простой шаблон, который бы позволил правильно расположить проекторы. TestPattern решил эту задачу без использования vvvv.
RandomSteps
Пока не были получены данные от системы Vicon в RandomMesh, виджеям требовалась какая-то имитация этих данных (заглушки) для тестирования сцены. RandomSteps отвечал за генерацию этих данных.
AetherBridge
Этот скетч для Processing является основой для управления аудио в проекте. Он позволяет объединить работу Ableton Live, vvvv и системы для создания волновых полей посредством OSC, Midi и UDP. Он позволяет трём приложениям взаимодействовать друг с другом.
«Порталы и ворота» от Джоэла Гевина Льюиса
Джоэл признался, что более комфортно чувствует себя в темноте. По его словам, он ночной человек, и может проводить целые вечера наблюдая за отражением фар автомобилей на потолке своей спальни. Он любит зашторить окно, оставив лишь небольшой зазор, позволяющий лучам света отбрасывать тени на противоположную стену, а засыпая видеть героев Ридли Скотта (Priss, Ripley), поклонником которого Джоэл является.
Результат работы Джоэла представлен в виде двух инсталляций.
Порталы
Порталы позволяют выполнять маппинг горизонтальных лучей на тело человека в реальном времени – на лицо, грудь и т.д. Проект использует Kinect для распознавания жестов. Вместо цифровой фотографии в инсталляции используется традиционная фотография с минимальным освещением. Новое устройство, созданное с помощью openFrameworks, используется в качестве интерфейса для перемещения и управления светом в пространстве.
Ворота
Ворота позволяют управлять вертикальными лучами света посредством жестов через Kinect. Если человек стоит перед проекцией, то он способен повлиять на положение светового луча с помощью жестов. Например, если человек наклонит поднятые руки влево, лучи света тоже перемесятся влево.
Джоел выложил свой код с комментариями на github, а также описал некоторые этапы своей работы над инсталляцией.
Презентации
5 декабря 2012 года состоялось мероприятие As Yet Impossible Series, где виджеи представили свою работу и провели дискуссию. Среди гостей мероприятия были Дрю Хеммент – виджей из Великобритании работающий в Манчестере; Стив Саймонс из Великобритании – специализируется на работе со звуком, известен рядом новаторских проектов под названием ‘Aura’; и Филип Висник. Особенно интересным в ходе дискуссии было обсуждение роли образовательных учреждений в развитии технологий для творчества. Большая часть средств, которые использовались виджеями в Салфордском университете в течение этих двух недель, ранее были доступны только научным сотрудникам. Было очень интересно изучить художественный потенциал этих средств и посмотреть на альтернативные способы их применения.
Ссылки
- Ближе познакомиться с виджеями можно по ссылкам:
- Эллиот Вудс - http://www.kimchiandchips.com/
- Кайл Макдональд – http://kylemcdonald.net/
- Джоан Лемерсье - http://joanielemercier.com/
- Джоэл Гевин Льюис - http://joelgethinlewis.com/
- Подробнее о ScreenLab можно узнать на http://www.salford.ac.uk/mediacityuk/research-and-innovation/research-projects/screenlab-0x02-residency-mediacityuk
- Фото и видео со ScreenLab доступны по ссылке: http://screenlabseries.tumblr.com/
Видео о ScreenLab 0×01.
