Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI.

https://www.youtube.com/watch?v=6de4akFiNYM

Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.

На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код и демо уже доступен на GitHub.

https://m.youtube.com/watch?v=N9dx6c8HKBo

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром, которые подаются на вход в StableDiffusion (предыдущим и текущим тензором, грубо говоря тензорный feedback loop, но не луп а интерполяция). Также добавил управление денойзом и промптом в риал-тайме.

TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием.

https://github.com/olegchomp/TouchDiffusion

Только что поделились результатом с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion benchmarks — результаты тестирования на разном железе.

Модель: SD Turbo
Batch size: 1 (количество шагов)

TouchDiffusion-v.0.0.2 — пре-обновление компонента для интерактивной генерации в реальном времени с использованием StreamDiffusion.

- Добавлена поддержка смены разрешения картинки. Выбирается на подготовке Engine и остается фиксированной для него. (Например если выбрали 768x512, то engine будет работать только с этим разрешением)
- Добавлена вкладка "About" с контролем версий
- Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine.
- Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop)
- Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints
- Изменен процесс установки и обновления. Теперь он происходит из самого webui.
- Исправлена поддержка sd_turbo модели.
- Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку.
- Исправлен параметр промпта, который не менялся если был в виде expression.


Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей.

https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2

TouchDiffusion — видео урок про интерактивную генерацию изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner.

https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-

Depth-Anything & Depth-Anything v2 TensorRT in TouchDesigner — обновление компонента, с поддержкой новой версии. TDDepthAnything — real-time определение глубины без использования специальных камер.

https://github.com/olegchomp/TDDepthAnything/

TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил.

1) Качаете и распаковываете архив
2) Запускаете webui.bat
3) Открываете вкладку install & update, нажимаете 'Update dependencies'
4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку

Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link