StreamDiffusion in TD Inference — попытка запустить StableDiffusion с TensorRT ускорением в TouchDesigner, без использования NDI/Spout.

Не уверен что получится что-то рабочее, но почему бы не попробовать.

Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.

На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.

GPU-to-GPU на 33-35 FPS. В теории можно еще что-то посмотреть внутри StreamDiffusion, так как даже при таком пайплайне активно используется CPU. По идеи такого быть не должно, так как например в TDDepthAnything, после всех обновлений, CPU практически не используется.

И отвечая на вопрос зачем это?
1) Инференс только тогда когда нужен, а не постоянно на 100% видеокарта
2) Минимальная задержка, так как все работает на GPU, без копирования на CPU и обратно (как например в модулях NDI или Spout в Python)
3) Синхронизация картинки, так как FPS лочится на максимальную скорость инференса
4) Ну а почему бы и нет?

Ну и конечно же, не обошлось без пары часов веселья в поиске тензора, который был на CPU а не GPU. If you know, you know 😂

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код и демо уже доступен на GitHub.

https://m.youtube.com/watch?v=N9dx6c8HKBo

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром, которые подаются на вход в StableDiffusion (предыдущим и текущим тензором, грубо говоря тензорный feedback loop, но не луп а интерполяция). Также добавил управление денойзом и промптом в риал-тайме.

TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием.

https://github.com/olegchomp/TouchDiffusion

Только что поделились результатом с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion benchmarks — результаты тестирования на разном железе.

Модель: SD Turbo
Batch size: 1 (количество шагов)

TouchDiffusion-v.0.0.2 — пре-обновление компонента для интерактивной генерации в реальном времени с использованием StreamDiffusion.

- Добавлена поддержка смены разрешения картинки. Выбирается на подготовке Engine и остается фиксированной для него. (Например если выбрали 768x512, то engine будет работать только с этим разрешением)
- Добавлена вкладка "About" с контролем версий
- Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine.
- Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop)
- Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints
- Изменен процесс установки и обновления. Теперь он происходит из самого webui.
- Исправлена поддержка sd_turbo модели.
- Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку.
- Исправлен параметр промпта, который не менялся если был в виде expression.


Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей.

https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2

TouchDiffusion — видео урок про интерактивную генерацию изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner.

https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-

Depth-Anything & Depth-Anything v2 TensorRT in TouchDesigner — обновление компонента, с поддержкой новой версии. TDDepthAnything — real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/

TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил.

1) Качаете и распаковываете архив
2) Запускаете webui.bat
3) Открываете вкладку install & update, нажимаете 'Update dependencies'
4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку

Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link

ComfyUI GLSL — поддержка OpenGL Shading Language в ComfyUI. Если задаетесь вопросом зачем и почему, то ответ будет — почему бы и нет?
А если серьезно, то учитывая количество инструментов и фреймворков подключаемых к ComfyUI и активную поддержку разработчиков, инструмент для генераций картинок уже давно превратился в AI-комбайн, а теперь начинает выходить и за эти рамки.

https://github.com/patriciogonzalezvivo/comfyui_glslnodes

Таким темпом, не ComfyUI будет подключаться к TouchDesigner, а запускать TD внутри ComfyUI.