ProPainter — новый метод видео-inpaint с помощью искусственного интеллекта, который позволяет удалять объекты, водяные знаки и поддерживает видео-outpaint.

https://shangchenzhou.com/projects/ProPainter/

Real-time dance visual — немного с запозданием сделал что-то похожее на контент Tale Of Us, Anyma и тд, который разлетелся по всем соцсетям.
Также решил себе устроить из этого челендж. Сделать все одному и бесплатными или условно-бесплатными инструментами, т.е. без перформера, мокап костюма, риггера, скульптера и других участников пайплайна. Также максимально не затягивать процесс и в итоге уложился в два дня (но теперь можно и быстрее). Ну и главное запустить все лайвом и синхронизировать с музыкой.
OBS (да, это запись экрана) и Telegram пожали качество, в первом комментарии найдете видео без сжатия.

Интересно посмотреть процесс/бэкстейдж создания проекта?

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Список изменений для версии 2.1.0:
- Stream. Авто-генерация изображения (live генерация).
- Multi-Controlnet. Поддержка нескольких ControlNet модулей для генерации изображений.
- Inpainting. Метод при котором Stable Diffusion перерисовывает только часть изображенияю
- Scripts & Extensions. Частичная поддержка для скриптов и расширений.
- Clips skip, Hires Fix, Prompt styles, Refiner

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.1.0

Stable Fast и TensorRT — релиз расширения для Stable Diffusion (A1111) и нового драйвера от NVIDIA ускоряющего генерацию в 2 раза, а также библиотека Stable Fast для Diffusers, ускоряющая еще больше. Если помните, я выкладывал эксперименты с AITemplate 0.4-0.5 сек на генерацию, то эти решения, в теории, должны еще больше сократить время генерации.

Latent Consistency Model — новый класс моделей Stable Diffusion, позволяющий за секунду получать 10 изображений при 4 шагах в разрешении 512х512, тоесть это генерация со скоростью 10 FPS.

Как подключить что угодно к Stable Diffusion — в этом видео мы рассмотрим базовые примеры как подключить Вебкамеру, Photoshop или любую другую программу к Stable Diffusion, с помощью ComfyUI и TouchDesigner.

https://youtu.be/utJqviJW7YU

StreamDiffusion — в предыдущем посте показывал первую попытку запустить пайплайн. В этот раз показываю генерацию на скорости 20 FPS (на самом деле там и 23-24, но OBS съел немного). Качество конечно не очень, но давайте вспомним каким был Stable Diffusion год назад, про real-time речи и не было.

SteamDiffusion-NDI — пример real-time генерации в Resolume и Stable Diffusion

Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/