Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI.

https://www.youtube.com/watch?v=6de4akFiNYM

Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.

На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код и демо уже доступен на GitHub.

https://m.youtube.com/watch?v=N9dx6c8HKBo

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром, которые подаются на вход в StableDiffusion (предыдущим и текущим тензором, грубо говоря тензорный feedback loop, но не луп а интерполяция). Также добавил управление денойзом и промптом в риал-тайме.

TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием.

https://github.com/olegchomp/TouchDiffusion

Только что поделились результатом с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion benchmarks — результаты тестирования на разном железе.

Модель: SD Turbo
Batch size: 1 (количество шагов)