AnythingToMidi — собрал забавный концепт превращающий изображение в мелодию. Внутри все довольно просто, получаем описание картинки, генерирует из этого аккорды, преобразовываем в midi и дальше в VST.
Пока думаю как это полностью завернуть в TD, но скорее всего будет работать отдельным скриптом, постараюсь скоро выложить на Github.

Конечно это фантазия LLM и не несет в себе никакого ground truth подтекста.

Spreadbeats — рекламный ролик Spotify получивший множество наград на фестивале Cannes Lions 2024. Интересен он тем что полностью запрограммирован в Excel и занимает всего 10 мб.

https://youtu.be/Z_lbVlhO9HE?si=dqvQAtcIoiPmylys

ComfyUI-AdvancedLivePortrait — управление лицевой анимацией на фото и видео. Собрано в виде ноды для ComfyUI и устанавливается через Manager.

Скорее всего это видео или похожие, будут во всех AI и Motion пабликах и позиционироваться как очередная секретная super-duper-фича, но все уже есть в открытом доступе 🤷🏻‍♂️

https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait

touch:waves — интерактивное аудио-визуальное веб приложение. Работает в браузере на PC/MAC, OS/iPadOS 14.5 и Android Chrome. Видео со страницы проекта в соц. сетях.

Поиграть самим: https://sascacci.com/

Очень нравятся такие приложения, быстро масштабируется в инсталляцию, которую можно с выставки забрать с собой на телефоне.

Suno Covers — вышел апдейт с возможностью генерации аудио каверов (ремиксов) по заданному промпту. Suno это генеративная модель (онлайн сервис), с помощью которой можно создавать музыку из текстовых запросов.

В двух словах это img2img audio2audio для музыки, Наверное стоит ожидать наплыв каверов старых и не только хитов в новых интерпретациях. Интересно послушать emo-core варианты современной поп музыки.

Web2Touch — plug&play веб-интерфейс для TouchDesigner. На первый взгляд, может быть как альтернатива TouchOSC. Главное отличие, не требует приложения и открывает интерфейс в веб-браузере на любом устройстве.

https://youtu.be/aOgyKX3EaP8

TDComfyUI — обновление компонента TouchDesigner для генерации изображение через ComfyUI API.
Добавились Callbacks, поддержка удаленных серверов, корректные названия нод и исправлено несколько багов.

https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.7

Разбавляю молчание на канале, новостью о следующем апдейте TouchDiffusion mkII (StreamDiffusion в TouchDesigner). Не скажу что это шаг вперед, скорее в сторону от TensorRT. Выглядит гораздо медленнее, но с поддержкой SDXL, ControlNet, Prompt weights и Lora.
На видео выше Dreamshaper8 (SD 1.5), LCM, Canny ControlNet, 4 Steps на скорости 8 FPS, с отдыхающим CPU.

Вариант с TensorRT стоит на паузе, после множества попыток добавить ControlNet в StreamDiffusion и получить какие-то рабочие результаты. Отдельно все работает, а вместе нет.

Отвечая на вопрос "Зачем?" — ну как бы OpenSource он такой, какой есть.

Шаг в сторону видимо отменяется, на видео TouchDiffusion с Canny ControlNet и TensorRT.

Dreamshaper8 (SD 1.5), LCM, 512x512, 4 Steps

КОНТЕСТ.МЕДИА-АРТ - КОНКУРС МЕДИАХУДОЖНИКОВ

Мы снова открываем двери тем, кто мыслит визуальными технологиями.

Это площадка для художников, которые работают на стыке искусства и цифровых медиа, для тех, кто превращает свет, звук, изображение в полноценные художественные произведения.

В этом году конкурс предлагает новые форматы участия, больше свободы для эксперимента и возможностей выйти за привычные рамки.

Две основные категории — 3D-мэппинг и виджеинг. Это формы искусства, которые работают с пространством, визуальным ритмом, атмосферой и технологиями, вовлекая зрителя в живое взаимодействие.

Главная тема — Москва будущего. Какой она становится, как меняется, как ощущается. Участникам предстоит осмыслить это сквозь призму цифрового искусства и предложить собственное художественное видение.

Показ работ финалистов пройдет на площадке Кинозавода «МОСКИНО» в рамках светового шоу!

Сроки приема заявок: с 21 июля по 31 августа включительно.

Подробности и сбор заявок на сайте: contestart.ru