Resolume 7.15 — превью обновления, в котором наконец-то добавят возможность сворачивать слои!

TDDiffusion API & Seed travel — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.4 добавлена поддержка скрипта Seed travel.

Seed travel позволяет создавать анимации с интерполяцией между сидами. В комментариях пример видео и интерфейса.

https://github.com/olegchomp/TDDiffusionAPI/releases/

TDDiffusion API & Upscale — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.6 добавлено:
- Upscale. AI увеличение размеров изображения.
- Random seed. Генерация случайного сида при каждой генерации картинки.
- Controlnet detect. Возможность использовать модули без генерации самого изображения. Например сгенерировать карту глубины из любого TOP.

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.6

Paisley Skies — видео сгенерированное художником NEWP Visuals с помощью TDDiffusion API в TouchDesigner. Автор немного рассказал про пайплайн в дискорде, он использует несколько слоев и смешивает их через feedback.

Если честно не ожидал, что можно прийти к такой интерполяции в TD с помощью feedback. Визуально очень напоминает Deforum конечно.

https://www.youtube.com/watch?v=8M9TxIEws3o

Track-Anything — инструмент для трекинга и сегментации объектов в видео. Для создания маски используется AI модель Segment Anything (SAM). Также на Github есть пример с Inpaint моделью, для удаления объектов с видео.

https://github.com/gaomingqi/Track-Anything

Resolume 7.15 — обновление в котором добавлено сворачивание слоев и групп, новые эффекты Dilate, Sharpen, Kuwahara, а также встроенный блокнот.

https://m.youtube.com/watch?v=X0_3zd-MKPQ

Stable Diffusion & AITemplate — фреймворк ускоряющий генерацию в два раза. При использовании PyTorch моделей с параметрами 512x512, 20 steps, 15 cfg, 0.6 denoising strength скорость обычно около 1.5-3 секунд на генерацию, а с AITemplate в среднем 0.7-0.9 секунд. И это очень круто, не риал-тайм конечно, но все равно :)
Осталось разобраться с ControlNet и попробовать улучшить качество, в примере SD 1.5 от Runway ML.

А вот и Delibarate модель, с небольшим feedback в TouchDesigner

iKeleton OSC — iOS приложение для захвата движения и отправки значений по OSC. Можно скачать бесплатно до пятого мая.

https://derivative.ca/community-post/asset/download-ikeleton-osc-free-until-may-5/67733

Еще немного ускорения до 0.5 и добавил управление денойзом. Старался двигаться медленее, чтобы сохранить цельность картинки.

TouchDesigner & RIFE — интерполяция между кадрами с помощью машинного обучения. В двух словах с помощью RIFE можно превратить 30 в 60, 120 и более FPS. Единственное что непонятно, RIFE это Real-Time Intermediate Flow Estimation for Video Frame Interpolation, но где здесь real-time я не очень понял. В примере 15 промежуточных изображений занимает около 2-3 секунд. Но в любом случае, теперь надо прикрутить к Stable Diffusion и посмотреть что получится.

Небольшой апдейт, на 30 кадров 512х512 получается меньше секунды 🤷🏻‍♂️

EDGE — Editable Dance Generation From Music. На вход модели подается аудио-фрагмент, на выходе получает анимированный fbx скелет, такой вот фристайл от ИИ. В описании написано что не должно быть летающих ног, но как-то в результате это не работает.

Скидывайте в комментарии название треков/песен, посмотрим, какие танцы получатся )

Вот вам EDGE (генерация танца из музыки) и Stable Diffusion (стилизация видео) на мотив Король и Шут. Возможно это опенинг для анимэ или тик-ток для панк-рок vtuber'a, кажется что-то в этом есть.

Очень интересно довести это до какой-то законченной картинки, но на сегодня ваш компьютер можно выключать. )

HokuyoUtil — компонент Touchdesigner для работы с лидарами Hokuyo. Главные особенности это удобный интерфейс, трекинг, настройка перспективы, объединение нескольких сенсоров и отправка данных по OSC

https://youtu.be/Xxw_gUPUcy8

Redshift & Unreal Engine — обновление плагина Cineware by Maxon, в котором добавили поддержку материалов из Redshift.

https://www.unrealengine.com/marketplace/en-US/product/cineware-by-maxon

ControlNet v1.1: A complete guide — гайд по всем препоцессорам и моделям для CN в Stable Diffusion .
В двух словах, ControlNet позволяет задать на вход сети-копии скетч, контур картинки, карту глубины, позу и так далее. На выходе получается картинка, сгенерированная в соответствии с заданными параметрами.

https://stable-diffusion-art.com/controlnet/

AWS выпустила Deadline 10.3 — бесплатную систему управления рендерфермой. Обновление включает поддержку Movie Render Queue в Unreal Engine 5.

https://aws.amazon.com/about-aws/whats-new/2023/08/aws-thinkbox-deadline-10-3/

TouchDesigner 2023.10130 — первая экспериментальная версия в 2023 году от Derivative. Из интересного:
- Переход на Python 3.11 и ускорение на 10-60%
- Bloom TOP добавляет эффект свечения к ярким фрагментам изображения.
- Body Track CHOP трекинг (захват движения) с помощью Nvidia Maxine AR SDK.
- Nvidia Upscaler TOP увеличения разрешения с помощью Nvidia Maxine Video Effects SDK.

Полный список обновлений:
https://derivative.ca/release/202310130/68169

Dash — инструмент для Unreal Engine от Polygonflow, ускоряющий и упрощающий процесс создания окружения. Плагин выглядит, как строка промпта и интуитивный интерфейс, автоматизирующие задачи.

https://youtu.be/NVSEN3ND6VU