Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI.
https://www.youtube.com/watch?v=6de4akFiNYM
https://www.youtube.com/watch?v=6de4akFiNYM
YouTube
Generative AI in Premiere Pro powered by Adobe Firefly | Adobe Video
Coming to #PremierePro in 2024: revolutionary #GenerativeAI features like Object Addition, Object Removal, and Generative Extend - powered by our new Adobe Firefly video model.
Early research explorations with our friends at Open AI, Runway and Pika Labs…
Early research explorations with our friends at Open AI, Runway and Pika Labs…
April 15, 2024
April 17, 2024
May 27, 2024
VJ SCHOOL
This media is not supported in your browser
VIEW IN TELEGRAM
Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.
May 27, 2024
VJ SCHOOL
Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.
This media is not supported in your browser
VIEW IN TELEGRAM
На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.
May 27, 2024
VJ SCHOOL
На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.
This media is not supported in your browser
VIEW IN TELEGRAM
После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.
May 28, 2024
VJ SCHOOL
После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.
Please open Telegram to view this post
VIEW IN TELEGRAM
May 28, 2024
VJ SCHOOL
This media is not supported in your browser
VIEW IN TELEGRAM
Сам спросил, сам отвечаю. CPU на 13% при 40 FPS
May 28, 2024
StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код и демо уже доступен на GitHub.
https://m.youtube.com/watch?v=N9dx6c8HKBo
https://m.youtube.com/watch?v=N9dx6c8HKBo
YouTube
Highlight of StreamV2V: face swap and stylization
Results of paper Looking Backward: Streaming Video-to-Video Translation with Feature Banks.
May 28, 2024
VJ SCHOOL
Сам спросил, сам отвечаю. CPU на 13% при 40 FPS
This media is not supported in your browser
VIEW IN TELEGRAM
Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром, которые подаются на вход в StableDiffusion (предыдущим и текущим тензором, грубо говоря тензорный feedback loop, но не луп а интерполяция). Также добавил управление денойзом и промптом в риал-тайме.
May 29, 2024
Media is too big
VIEW IN TELEGRAM
TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием.
https://github.com/olegchomp/TouchDiffusion
https://github.com/olegchomp/TouchDiffusion
June 1, 2024
VJ SCHOOL
TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием. https://github.com/olegchomp/TouchDiffusion
Только что поделились результатом с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.
June 1, 2024
June 2, 2024
VJ SCHOOL
Video
TouchDiffusion benchmarks — результаты тестирования на разном железе.
Модель: SD Turbo
Batch size: 1 (количество шагов)
Модель: SD Turbo
Batch size: 1 (количество шагов)
June 3, 2024
VJ SCHOOL
TouchDiffusion — расширение TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием. https://github.com/olegchomp/TouchDiffusion
TouchDiffusion-v.0.0.2 — пре-обновление компонента для интерактивной генерации в реальном времени с использованием StreamDiffusion.
- Добавлена поддержка смены разрешения картинки. Выбирается на подготовке Engine и остается фиксированной для него. (Например если выбрали 768x512, то engine будет работать только с этим разрешением)
- Добавлена вкладка "About" с контролем версий
- Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine.
- Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop)
- Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints
- Изменен процесс установки и обновления. Теперь он происходит из самого webui.
- Исправлена поддержка sd_turbo модели.
- Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку.
- Исправлен параметр промпта, который не менялся если был в виде expression.
Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей.
https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2
- Добавлена поддержка смены разрешения картинки. Выбирается на подготовке Engine и остается фиксированной для него. (Например если выбрали 768x512, то engine будет работать только с этим разрешением)
- Добавлена вкладка "About" с контролем версий
- Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine.
- Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop)
- Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints
- Изменен процесс установки и обновления. Теперь он происходит из самого webui.
- Исправлена поддержка sd_turbo модели.
- Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку.
- Исправлен параметр промпта, который не менялся если был в виде expression.
Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей.
https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2
GitHub
Release TouchDiffusion-v.0.0.2 · olegchomp/TouchDiffusion
Added Custom resolution. You can select in on Engine preparation and i will be fixed.
Added About tab with version control.
Added Local pipeline. Internet connection required only on engine prepari...
Added About tab with version control.
Added Local pipeline. Internet connection required only on engine prepari...
June 16, 2024
TouchDiffusion — видео урок про интерактивную генерацию изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner.
https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-
https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-
YouTube
Интерактивный Stable Diffusion в TouchDesigner
Видеоурок о TouchDiffusion, интерактивной генерации изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner.
TouchDiffusion: https://github.com/olegchomp/TouchDiffusion
При желании можете угостить меня кофе: https://bo…
TouchDiffusion: https://github.com/olegchomp/TouchDiffusion
При желании можете угостить меня кофе: https://bo…
June 18, 2024
VJ SCHOOL
Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер. https://github.com/olegchomp/TDDepthAnything/
Depth-Anything & Depth-Anything v2 TensorRT in TouchDesigner — обновление компонента, с поддержкой новой версии. TDDepthAnything — real-time определение глубины без использования специальных камер.
https://github.com/olegchomp/TDDepthAnything/
https://github.com/olegchomp/TDDepthAnything/
GitHub
GitHub - olegchomp/TDDepthAnything: TouchDesigner implementation for Depth Anything and TensorRT monocular depth estimation.
TouchDesigner implementation for Depth Anything and TensorRT monocular depth estimation. - olegchomp/TDDepthAnything
July 2, 2024
TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил.
1) Качаете и распаковываете архив
2) Запускаете webui.bat
3) Открываете вкладку install & update, нажимаете 'Update dependencies'
4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку
Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link
1) Качаете и распаковываете архив
2) Запускаете webui.bat
3) Открываете вкладку install & update, нажимаете 'Update dependencies'
4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку
Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link
boosty.to
TouchDiffusion Portable - VJSCHOOL
TouchDesigner implementation for real-time Stable Diffusion interactive generation with StreamDiffusion.
Portable includes preinstalled configurations, ensuring everything is readily available for immediate use.
1) Download and extract archive
2) Run 'webui.bat'…
Portable includes preinstalled configurations, ensuring everything is readily available for immediate use.
1) Download and extract archive
2) Run 'webui.bat'…
July 3, 2024
July 15, 2024