Forwarded from • МОТЫЛЁК | MOTYLYOK • (Ksusha Chekhovskaya)
Моя любимая рубрика на канале – интервью. Это возможность лучше узнать 🦋 сподвижников🦋 , с которыми мы вроде бы и так уже много лет знакомы, и есть общие проекты за плечами, но все всегда на бегу, без возможности вот так поговорить. С удовольствием представляю вам мультимедийного художника Олега Тысячного, также известного как Олег Чомп – автора обучающего YouTube и Telegram канала VJSCHOOL, работающего с генеративной графикой и инструментами на основе AI.
Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”.
Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках.
#artists #interview
Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”.
Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках.
#artists #interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24❤7
This media is not supported in your browser
VIEW IN TELEGRAM
Marionette — аудио-реактивное приложение, на основе StyleGan и StableDiffusion. Сложные процессы, связанные с установкой и настройкой AI инструментов, постепенно интегрируются в удобные приложения. Достаточно ввести промпт и отрегулировать несколько слайдеров, чтобы получить желаемый результат. Это все к тому, что автор проекта собирается выложить приложение в открытый доступ.
🔥20❤5👍2👌1
This media is not supported in your browser
VIEW IN TELEGRAM
UE 5.4 Neural Rendering — в новой версии Unreal Engine представлен плагин для использования ИИ моделей как Post-processing эффект фильтр.
Подробнее: https://historia.co.jp/archives/40788/
Все пиксели будут скоро сгенерированы. Не отрендерены: сгенерированы.
Jensen Huang, CEO NVIDIA
Подробнее: https://historia.co.jp/archives/40788/
👍5🔥5❤3
TDComfyUI — обновление компонента TouchDesigner для генерации изображение через ComfyUI API.
https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.4
https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.4
GitHub
Release TDComfyUI-v.1.0.4 · olegchomp/TDComfyUI
Support for TD 2023+
Reworked image processing and optimization
Fixed #15 #14 #13 #11 #9 #8
Improvement #12 #10
Reworked image processing and optimization
Fixed #15 #14 #13 #11 #9 #8
Improvement #12 #10
🔥11👍2❤1
Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI.
https://www.youtube.com/watch?v=6de4akFiNYM
https://www.youtube.com/watch?v=6de4akFiNYM
YouTube
Generative AI in Premiere Pro powered by Adobe Firefly | Adobe Video
Coming to #PremierePro in 2024: revolutionary #GenerativeAI features like Object Addition, Object Removal, and Generative Extend - powered by our new Adobe Firefly video model.
Early research explorations with our friends at Open AI, Runway and Pika Labs…
Early research explorations with our friends at Open AI, Runway and Pika Labs…
👍6❤4🔥1
Unreal Engine balanced framerate — Как выровнять FPS, если вы используете Unreal Engine и TouchDesigner/Resolume на одном PC?
1) Editor Prefences - отключаете Use Less CPU when in Background
2) Project Settings - включаете Use Fixed Frame Rate и выставляете максимальный FPS (часто он будет ниже чем 60, например 30 или 25, в зависимости от производительности PC).
3) OSC control - если используете управление UE по OSC, то необходимо использовать одинаковый FPS у сервера (UE) и клиента (TouchDesigner/Resolume).
1) Editor Prefences - отключаете Use Less CPU when in Background
2) Project Settings - включаете Use Fixed Frame Rate и выставляете максимальный FPS (часто он будет ниже чем 60, например 30 или 25, в зависимости от производительности PC).
3) OSC control - если используете управление UE по OSC, то необходимо использовать одинаковый FPS у сервера (UE) и клиента (TouchDesigner/Resolume).
Иногда спрашивают, как запускать этот пайплайн, так чтобы никто из UE/TD/Resolume не просаживал по FPS остальное. Решение заключается в том, чтобы ограничить "скорость" Unreal Engine, Так как по умолчанию, он будет стараться выдать максимум 60 FPS (или больше, в зависимости от настроек).
Уменьшая FPS, ресурсы PC будут равномерно распределяться между всеми процессами.
👍11❤6🔥2👏1
VJ SCHOOL
StreamDiffusion in TD Inference — попытка запустить StableDiffusion с TensorRT ускорением в TouchDesigner, без использования NDI/Spout. Не уверен что получится что-то рабочее, но почему бы не попробовать.
This media is not supported in your browser
VIEW IN TELEGRAM
Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.
🔥14❤4👍4❤🔥2
VJ SCHOOL
Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.
This media is not supported in your browser
VIEW IN TELEGRAM
На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.
👍8❤4🔥2
VJ SCHOOL
На видео одна из причин, почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта не работает на 100% все время.
This media is not supported in your browser
VIEW IN TELEGRAM
После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.
🔥12❤2❤🔥1
VJ SCHOOL
После небольшой оптимизации получилось 30 FPS. Почему-то не получается картинка без копирования ее на CPU.
Media is too big
VIEW IN TELEGRAM
GPU-to-GPU на 33-35 FPS. В теории можно еще что-то посмотреть внутри StreamDiffusion, так как даже при таком пайплайне активно используется CPU. По идеи такого быть не должно, так как например в TDDepthAnything, после всех обновлений, CPU практически не используется.
Ну и конечно же, не обошлось без пары часов веселья в поиске тензора, который был на CPU а не GPU. If you know, you know 😂
И отвечая на вопрос зачем это?
1) Инференс только тогда когда нужен, а не постоянно на 100% видеокарта
2) Минимальная задержка, так как все работает на GPU, без копирования на CPU и обратно (как например в модулях NDI или Spout в Python)
3) Синхронизация картинки, так как FPS лочится на максимальную скорость инференса
4) Ну а почему бы и нет?
Ну и конечно же, не обошлось без пары часов веселья в поиске тензора, который был на CPU а не GPU. If you know, you know 😂
🔥10🥰2❤1👍1