TouchDesigner. Официальное обновление 2022
Мы рады объявить о выпуске официального релиза 2022 года, который знаменует начало новой эры для TouchDesigner.
Релиз этого года посвящен новому ядру TouchDesigner, совершенно новому графическому движку, который открывает нам следующую главу в путешествии TouchDesigner. Хотя важность этой многолетней работы трудно переоценить, мы также дополнили релиз этого года улучшениями качества жизни и некоторыми мощными новыми функциями, которые, как мы надеемся, вдохновят на новые рабочие процессы и творческие импульсы.
В этом выпуске найдется что-то для всех, независимо от того, используете ли вы TouchDesigner.
- Изменения в архитектуре
- Новые функции и операторы
- Работа в редакторе
- High DPI Panel Rendering
- SDI и видео Pipelines
- Steinberg VST®
- WebRTC
- Улучшения в Python
- Пользовательские операции
- Расширение TouchDesigner
Изменения в архитектуре
В этом году произошли серьезные архитектурные изменения в рамках наших усилий по дальнейшей модернизации движка TouchDesigner.
Эта наработка является основой для новых областей будущего развития и поможет улучшить соотношение функций TouchDesigner между различными графическими процессорами и операционными системами.
Движок OpenGL, используемый в течение последних 20 лет, исчез, и графический API TouchDesigner заменен на Vulkan. Vulkan может значительно снизить нагрузку на графический драйвер по сравнению с OpenGL, что может привести к увеличению производительности во многих областях, от топов до пользовательского интерфейса и рендеринга геометрии.
Некоторые улучшения от Vulkan, которые мы уже добавили, - это улучшенная производительность ввода / вывода SDI и кодирование / декодирование кодеков NotchLC в macOS.
Предстоящие планы включают оптимизацию определенных вершин с использованием вычислительных шейдеров и использование улучшенной поддержки Vulkan цветовых выходов HDR для улучшения этих рабочих процессов.
macOS использует MoltenVK API, который позволяет использовать Vulkan на Apple’s Metal framework. Это гарантирует, что мы разрабатываем TouchDesigner с использованием новейшего API, на котором Apple концентрирует свои ресурсы, и привносит в macOS больше возможностей, которые были невозможны с OpenGL.
На macOS мы также перенесли TouchDesigner для работы на Apple Silicon, чтобы получить максимальную отдачу от новой линейки оборудования Apple.
Рабочее пространство Yea Chen's TouchDesigner включает в себя 3D-сканирование, Kinect, облака точек и компоновку в TouchDesigner
Работа в редакторе
Как пользователь TouchDesigner, большую часть вашего времени вы проводите в нодовом редакторе, проектируя flow и организуя системы пикселей, сигналов, логики и кода. В этом году мы обратили внимание на улучшение этого несколькими способами.
Начиная с некоторых давно запрошенных функций, в рабочей области теперь есть встроенные комментарии и поля для упорядочивания ваших заметок и операторов.
Первые две сетевые утилиты - это простые ‘комментарии’ и ‘сетевые поля’. Используйте комментарии, чтобы описать, что или как это работает, оставляйте заметки в процессе выполнения работ или оставляйте инструкции и обучающие заметки для других, кто столкнется с вашей работой (включая ваше будущее "я").
Сетевые блоки можно использовать для объединения группы операторов вместе для организации, выделения или разделения идей.
Третий инструмент, доступный для работы, - это Annotate COMP. Это новый компонент, который позволяет вам комментировать, выделять узлы, добавлять фоновые изображения или визуализации и даже создавать свои собственные сетевые инструменты и интерфейсы для всего, что вы можете придумать.
В дополнение к работе с узлами, код также можно найти во всем TouchDesigner, от обратных вызовов и расширений python до GLSL и вычислительных шейдеров. В дополнение к более приятному отображению текста, средства просмотра DAT в 2022 году, наконец, получат подсветку синтаксиса для python, GLSL, JSON и XML / HTML.
Новое диалоговое окно поиска / замены можно найти в меню редактирования ( ALT + s), чтобы помочь вам быстро находить объекты в ваших сетях. Это включает в себя мощную функцию замены, которая помогает с рефакторингом, обновлением или переименованием чего-либо в вашем проекте.
Функции этого диалогового окна были смоделированы на основе обновленного компонента палитры под названием searchReplace, найденного в папке Tools.
High DPI Panel Rendering
Новая архитектура рендеринга породила группу новых функций для отображения элементов пользовательского интерфейса, текста и панелей на экране. Компоненты панели, которые используются для создания панелей управления, теперь отображаются непосредственно на экране, что означает, что они не зависят от разрешения, и элементы могут отображаться для любого разрешения или настройки масштабирования дисплея.
Это дает нам возможность рисовать идеальные линии, границы и текст на экранах с высоким разрешением, вместо того, чтобы просто увеличивать версии с более низким разрешением или использовать большие размеры текстур, которые занимают память.
Новый Text COMP выводит текст непосредственно на экран, используя библиотеку Slug, которую мы представили в прошлом году. Это устраняет необходимость в компонентах полей (которые теперь устарели) и текстовых вершинах при создании панелей управления (текстовые вершины по-прежнему необходимы для текста, используемого при компоновке изображений TOPs). Все панели теперь используют этот метод прямого вывода на экран и все виджеты пользовательского интерфейса в палитре были обновлены для этого.
Интерфейс TouchDesigner, который включает в себя нодовый редактор, диалоговые окна параметров, средства просмотра нодов, текстовый порт, средства просмотра данных, меню и многое другое были обновлены, для использования высокого разрешениея DPI. Увеличен размер шрифта для интерфейса TouchDesigner, чтобы упростить чтение.
SDI и видео Pipelines
В этом году мы приложили огромные усилия для улучшения поддержки SDI и производительности TouchDesigner. Новая аппаратная поддержка в этом году включает в себя встроенную поддержку карт Deltacast. Они встречаются в качестве OEM-оборудования на медиасерверах, и TouchDesigner теперь может в полной мере воспользоваться их преимуществами.
Обновленный Bluefish444 SDK обеспечивает поддержку их новой линейки карт Khronos с высокой пропускной способностью и добавляет возможность захвата VITC timecode и 10-bit YUV.
Поддержка устройств AJA и Blackmagic Design получила ряд существенных улучшений благодаря поддержке 12-разрядных форматов ввода и вывода, включая способность AJA захватывать с полным 12-разрядным RGB 4: 4: 4.
Это обеспечивает лучшую поддержку ввода и вывода для HDR и цветовых пространств, таких как Rec.2020, которые могут быть увеличены до 12-бит. Кроме того, 10-разрядный ввод и вывод получили ряд улучшений производительности и улучшенную поддержку для более широкого выбора встроенного ПО. ППц, куда больше 10 бит то!!
Info CHOP может предоставить вам данные для анализа производительности входов и выходов видеоустройств. Есть 6 новых каналов передачи данных, которые помогут в мониторинге, а также опция “Сброс статистики” для очистки истории.
Другие важные новости включают обновление до OpenColorIO SDK, обеспечивающее лучшие результаты цветопередачи, улучшенную производительность LUT и поддержку последних форматов файлов конфигурации.
NDI получил последнее обновление до версии 5.0, которое улучшает производительность и обнаружение сети. Не забывайте, что у нас есть поддержка метаданных NDI, которая за последний год позволила реализовать всевозможные интересные варианты использования.
ZIGCAM использует ARKit и NDI с метаданными для создания этих сцен AR / XR в TouchDesigner
В настоящее время мы изучаем другие новые функции, предлагаемые NDI 5.0, следите за обновлениями.
Steinberg VST® (технология виртуальной студии)
TouchDesigner теперь поддерживает плагины VST audio с новым Audio VST CHOP. Steinberg VST - это стандарт для аудио плагинов, позволяющий виртуальным инструментам и фильтрам работать на цифровых аудио рабочих станциях (DAW), а теперь и в TouchDesigner.
Плагины VST3 могут отображать свои параметры в Audio VST CHOP, а пользовательский интерфейс плагина VST можно открывать и управлять в плавающем окне, запускаемом из TouchDesigner. Мы также разработали надежный набор функций MIDI-событий, позволяющий отправлять MIDI-события в VSTS, и, наоборот, TouchDesigner может захватывать MIDI-события, поступающие из VST, используя обратные вызовы python Audio VST CHOP. Чтобы начать экспериментировать с VSTS, проверьте компонент VSTHost в папке инструментов палитры.
WebRTC (веб-связь в режиме реального времени)
WebRTC - это открытый стандарт для одноранговой связи в Интернете. Он поддерживает отправку и получение видео, аудио и общих данных между одноранговыми узлами и поддерживается всеми современными веб-браузерами.
С введением нового WebRTC DAT TouchDesigner теперь получает доступ к этому стандарту для одноранговой связи между TouchDesigner, другими приложениями WebRTC и веб-браузерами.
Приложения, созданные на WebRTC, включают в себя такие популярные сервисы, как Whatsapp, Discord, Snapchat, FaceBook Messenger, Google Meet и Jitsi.
Низкая задержка и широкая совместимость делают WebRTC отличным выбором для создания инструментов голосовой и видеосвязи, мы думаем, что это откроет новые захватывающие приложения для TouchDesigner. Чтобы начать работу с WebRTC, начните с документации и примеров в новой папке WebRTC палитры.
Улучшения в Python
Для Питонщиков есть масса новых плюшек, которых они с нетерпением ждут в выпуске этого года.Апдейт python TouchDesigner до версии 3.9.5. Это добавляет ряд новых функций, таких как f-strings для мощного форматирования строк и оператор walrus:=, предлагающий новый синтаксис для назначения переменных в середине выражений.
ParGroups и новый ParGroup Execute DAT предлагают более естественный способ работы со связанными параметрами как с группой, а не как с их отдельными частями. Например, resolutionw и resolutionh теперь к нему можно быстро получить доступ через pargroupresolution.
Вызываемый новый элемент параметра lastScriptChangeпредоставляет информацию о том, когда параметр был в последний раз изменен сценарием, что очень полезно при устранении неполадок и отладке поведения параметра.
В модуль tdu были добавлены два полезных дополнения. Новая функция try / except в форме tdu.tryExcept(func1, func2 or value) позволяет создавать некоторые мощные однострочные выражения, а класс зависимостей теперь имеет метод обратного вызова для тех из вас, кто использует зависимости в своих проектах.
Пользовательские операции и расширение TouchDesigner
Разработчики C ++ могут рассчитывать на мощные дополнения для дальнейшей настройки TouchDesigner и расширения его набора функций.
VID
Пользовательские операторы, встроенные в C ++, теперь могут поддерживать запуск обратных вызовов Python, позволяя программистам создавать те же интерфейсы обратного вызова python, которые вы найдете в собственных операторах TouchDesigner.
Кроме того, вы также можете использовать CPython API для определения классов python для вашего пользовательского оператора.
Для тех, кто создает Custom TOPs теперь поддерживаются 3D-текстуры, 2D-текстуры массивов и кубов, больше пиксельных форматов и доступ к нескольким цветовыму буферу.
API для пользовательских вершин (но не для других семейств узлов) был полностью переработан для Vulkan, в результате чего код стал более чистым и мощным для работы. Обратите внимание, что Custom TOPs из предыдущих версий TouchDesigner необходимо будет обновить до этого более нового API, это было неизбежно при нашем переходе с OpenGL на Vulkan.
Новые функции и операторы
Timer CHOP существенное обновление со следующими новыми функциями. "Бесконечный" режим работы, в котором не нужно указывать длину или конечную точку, открывает таймер для ряда новых применений.
Параметры для ‘поддиапазона’ позволяют выполнять цикл в любом месте полного временного диапазона и сопровождаются новым обратным вызовом для дополнительного программирования событий. В общем, обратные вызовы python для Timer CHOP
были изменены и включают новый аргумент ‘segment’, который помогает упростить работу с сегментами.
Появились новые каналы мониторинга, включая опции "Master Time", "Подсчет Playing Timer" и выходные данные "Segment Length", все для того, чтобы предоставить вам больше полезных данных, поступающих из таймера.
Совершенно новый Geo Text COMP создает 3D текстовую геометрию непосредственно на графическом процессоре, используя библиотеку Slug, аналогичную Text COMP, упомянутому ранее.
Geo Text COMP, включающая в себя рабочие процессы для позиционирования, стилизации и раскрашивания 1000 фрагментов текста, анимации для каждого символа и даже изогнутого размещения текста, выводит 3D-текст в TouchDesigner на совершенно новый уровень.
Stype и FreeD - это два протокола отслеживания камер, используемых для отслеживания данных с камер в прямом эфире, XR и виртуальных постановках.
TouchDesigner уже много лет использует входные данные для этих протоколов, но теперь эти данные также можно отправлять, используя новые Stype Out и FreeD Out CHOP s.
Управление и обработка этих сигналов в режиме реального времени в середине любого рабочего процесса могут быть незаменимыми в реальных условиях, помогая вам быстро решать проблемы и экономя драгоценное время на установке с помощью TouchDesigner.
Заключительные замечания
В приведенных выше разделах упоминаются некоторые из основных моментов этого выпуска, но есть гораздо больше, что вы найдете, как только углубитесь в него.
Для получения полного списка новых функций и улучшений не забудьте ознакомиться с примечаниями к выпуску.
Как и в случае любого крупного обновления, проверьте изменения В ОТНОШЕНИИ ОБРАТНОЙ СОВМЕСТИМОСТИ и списки ИЗВЕСТНЫХ ПРОБЛЕМ, чтобы подготовиться и помочь определить любые возможные изменения, которые могут потребоваться для внесения в ваши проекты.
Присоединяйтесь к обсуждению ниже, чтобы сообщить нам, какие функции или изменения вас интересуют. Конечно, если у вас возникнут какие-либо проблемы или вы обнаружите ошибки, мы тоже хотим услышать об этом!
Мы хотим поблагодарить вас за вашу поддержку, как за использование TouchDesigner, так и за участие в создании одного из лучших сообществ в мире. Особая благодарность следующим членам сообщества, чьи изображения и ресурсы помогли сделать эту статью возможной.
Studio Setup - Dixon Transmoderna, Printworks, London, October 2021. Credit: Jake Davis - *Article teaser image
TS/CN studio - DIORAMA - TS/CN is a digital art studio based in Paris, specialized in audiovisual installations and performances.
Yea Chen - ChillProduction
Shawn Lawson - LIVE CODING DEEP NEURAL NETS (See article for full credits)
petitsapin - HOUDINI ENGINE FOR TOUCHDESIGNER
Lucas Morgan - Enviral Design - Volumetric Lighting in TouchDesigner
Shuhei Matsuyama - Think and Sense and Intercity-Express - Stillness 2022
