TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Список изменений для версии 2.1.0:
- Stream. Авто-генерация изображения (live генерация).
- Multi-Controlnet. Поддержка нескольких ControlNet модулей для генерации изображений.
- Inpainting. Метод при котором Stable Diffusion перерисовывает только часть изображенияю
- Scripts & Extensions. Частичная поддержка для скриптов и расширений.
- Clips skip, Hires Fix, Prompt styles, Refiner

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.1.0

Stable Fast и TensorRT — релиз расширения для Stable Diffusion (A1111) и нового драйвера от NVIDIA ускоряющего генерацию в 2 раза, а также библиотека Stable Fast для Diffusers, ускоряющая еще больше. Если помните, я выкладывал эксперименты с AITemplate 0.4-0.5 сек на генерацию, то эти решения, в теории, должны еще больше сократить время генерации.

Latent Consistency Model — новый класс моделей Stable Diffusion, позволяющий за секунду получать 10 изображений при 4 шагах в разрешении 512х512, тоесть это генерация со скоростью 10 FPS.

Latent Consistency Model — лайв-генерация с камеры в Stable Diffusion и TouchDesigner со скоростью 0,8 сек. на изображение.

Полгода назад AITemplate с 1.5 сек/изображение казался нереальным быстрым.

Interactive inpaint — интерактивная перерисовка части изображение в TouchDesigner с помощью Stable Diffusion, RIFE и Leap Motion.

Видео ускорено x4 в момент генерации, так как используются модели без "ускорения".

Resolume Countdown — обратный отсчет с помощью REST API.

1) Включаете Webserver в настройках.
2) Копируете папку из скачанного архива в Root Directory.
3) Открываете файл index.html в текстовом редакторе и заменяете значения после // Set Text Block position и // Set the countdown date.
4) Добавляете Text Block из Source.
5) Открываете в браузере http://localhost:8080/countdown/ Таймер будет активен пока браузер открыт, но окно можно свернуть.
6) Если вы вносите какие-то изменения, необходимо сохранить файл и обновить страницу в браузере.

Необходимо заменить только цифры в файле, где:
Layer, Column - слой и колонка на котором Text Block.
Day, Month, Year, Hour, Minute, Seconds - дата до которой необходим обратный отсчет
onfinish - текст который отобразится после завершения отсчета. Можно поставить пробел, если текст не нужен.

Наверное можно закрыть наконец-то вопрос с таймерами в Resolume. Сам архив в первом комментарии.

TDComfyUI — компонент TouchDesigner для генерации изображение через ComfyUI API. ComfyUI - нодовый интерфейс для Stable Diffusion, который можно описать как "Процедурное рисование".

TDComfyUI позволяет собрать свой workflow, не ограничиваясь "зашитыми" решениями как в Automatic1111.

https://github.com/olegchomp/TDComfyUI

Если у вас появился вопрос, для чего этот компонент вообще нужен?

Вот например концепт фотобудки с нейронной сетью внутри. На генерацию картинки уходит около 40 секунд и можно выбрать стилизацию.

И при этом не написана ни одна строчка кода. Workflow в ComfyUI собран по урокам на YouTube за вечер. В TouchDesigner только закинул картинку на вход и запустил генерацию.

Как подключить что угодно к Stable Diffusion — в этом видео мы рассмотрим базовые примеры как подключить Вебкамеру, Photoshop или любую другую программу к Stable Diffusion, с помощью ComfyUI и TouchDesigner.

https://youtu.be/utJqviJW7YU

StreamDiffusion — новый пайплайн для real-time генерации в Stable Diffusion. В примерах на Github генерация достигает скорости 100 FPS на RTX 4090.

На видео пример с интеграцией в TouchDesigner, на скорости 15 FPS. Для ускорения, видимо надо будет запускать StreamDiffusion отдельно, как бэкэнд.

StreamDiffusion — в предыдущем посте показывал первую попытку запустить пайплайн. В этот раз показываю генерацию на скорости 20 FPS (на самом деле там и 23-24, но OBS съел немного). Качество конечно не очень, но давайте вспомним каким был Stable Diffusion год назад, про real-time речи и не было.

SteamDiffusion-NDI — выложил на Github скрипт и инструкцию для real-time генерации в Stable Diffusion. Внутри работает через NDI для стрима изображений и OSC для управления промптом и отображения FPS.

Можно подключить любой софт с поддержкой NDI, например TouchDesigner, Resolume, Unreal Engine и тд и тд. А также разделить нагрузку при помощи стриминга по сети, между сервером с Stable Diffusion и клиентом.

https://github.com/olegchomp/StreamDiffusion-NDI

SteamDiffusion-NDI — пример real-time генерации в Resolume и Stable Diffusion

Comfy Textures — плагин для автоматической генерации текстур с помощью Stable Diffusion в Unreal Engine.

Делаете сценарий и лор в ChatGPT, затем Blockout в UE, там же текстурите с помощью плагина. смотрите урок как сделать 2.5D платформер и открываете фабрику по производству игр.

https://github.com/AlexanderDzhoganov/ComfyTextures

Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS.

Да-да, никаких Realsense, Kinect и других специальных камер глубины.

Real-time monocular depth estimation — продолжение с Depth Anything. На видео используется самая большая модель с TensorRT ускорением. В предыдущий раз была маленькая модель и без ускорения, а большая модель без ускорения выдает 12 FPS. Также запустил все внутри TouchDesigner без NDI, тем самым получилось синхронизировать генерацию, так как при использовании NDI получаем около секунды задержки.

Справа можно увидеть часть кода, собранного по частям из разных источников и ноткой "и так сойдет", который надо понять как теперь выложить на Github.

Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/

Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через Effectors.
В Unreal Engine подобного результата можно было добиться через Blueprints, Niagara или сторонни плагины, но решение даже самых простых задач занимало очень много времени.

С интеграцией простой системы клонирования в Unreal Engine, Motion Design артисты получают знакомый пайплайн, который позволяет быстро достигать желаемых результатов.

https://www.youtube.com/watch?v=ZftACL1CCEQ

Unreal Engine 5.4 Preview — новая версия доступна для скачивания. Из всех изменений очень интересно посмотреть на Motion Design mode — кажется, это должна быть киллер-фича. На канале WINBUSH уже есть краткий обзор инструментов, таких как Cloner, 2D Text tools, импорт векторных изображений и Audio Effector.

AnimateDiff-Lightning — «молниеносная» text-to-video модель от ByteDance. Представлены 1-8 steps checkpoints, ускоряющие генерацию видео в 10 раз. Почитать подробнее на HuggingFace, поиграться с Демо, worfklow для ComfyUI.