VJ SCHOOL
Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен для новичков и помогает ответить на вопросы которые появляются вначале работы…
Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Трансляция началась!
https://www.youtube.com/watch?v=pj0mpcHcuk4
https://www.youtube.com/watch?v=pj0mpcHcuk4
YouTube
Ответы на вопросы о мультимедиа-инструментах для медиа-художников.
Присоединяйтесь к каналу в Telegram.
— https://t.me/vjschool
Поддержите канал на Boosty и получите приятные бонусы.
— https://boosty.to/vjschool
Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен…
— https://t.me/vjschool
Поддержите канал на Boosty и получите приятные бонусы.
— https://boosty.to/vjschool
Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен…
VJ SCHOOL
Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Трансляция началась! https://www.youtube.com/watch?v=pj0mpcHcuk4
Спасибо всем!
К сожалению было очень много технических сложностей и нюансов. Записи стрима не будет, но я постараюсь сделать отдельные уроки по темам которые обсуждали на трансляции.
К сожалению было очень много технических сложностей и нюансов. Записи стрима не будет, но я постараюсь сделать отдельные уроки по темам которые обсуждали на трансляции.
RealityScan — вышло бесплатное приложение для создания 3D-моделей при помощи камеры смартфона. Приложение было доступно и ранее, но теперь это официальный релиз от Epic Games.
https://m.youtube.com/watch?v=fXLOMOWWBJQ
https://m.youtube.com/watch?v=fXLOMOWWBJQ
YouTube
RealityScan Available Now | Capture the World and Create Your Own
RealityScan is now officially FREE to download on iOS!
Get the 3D scanning app for mobile devices that turns photos into high-fidelity 3D models.
When you upload your first RealityScan model to Sketchfab, you’ll get a year’s Sketchfab Pro subscription!…
Get the 3D scanning app for mobile devices that turns photos into high-fidelity 3D models.
When you upload your first RealityScan model to Sketchfab, you’ll get a year’s Sketchfab Pro subscription!…
Distilled StableDiffusion 2 — анонс модели, позволяющей в 20 раз ускорить генерацию. Если верить твиту, то генерация 50 шагов снизилась с 5.6 до 0.9 секунд!
Ждём релиза и готовимся прикручивать к Touchdesigner.
https://twitter.com/emostaque/status/1598131202044866560
#stablediffusion #ai
Ждём релиза и готовимся прикручивать к Touchdesigner.
https://twitter.com/emostaque/status/1598131202044866560
#stablediffusion #ai
Media is too big
VIEW IN TELEGRAM
TD Diffusion — имплементация Stable Diffusion в TouchDesigner. Работает в img2img моде на разрешении 512x512, но еще не в риалтайме.
txt2img довольно быстро запустился, а с img2img было сложнее. И да, это не SD API, все крутиться в TD, что и видно по зависанию на несколько секунд.
#touchdesigner #stablediffusion #ai
txt2img довольно быстро запустился, а с img2img было сложнее. И да, это не SD API, все крутиться в TD, что и видно по зависанию на несколько секунд.
#touchdesigner #stablediffusion #ai
TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner локально на вашем компьютере.
https://youtu.be/CqpJ7roRj5Y
#touchdesigner #stablediffusion #ai
https://youtu.be/CqpJ7roRj5Y
#touchdesigner #stablediffusion #ai
YouTube
TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner
В этом видео я расскажу как использовать #stablediffusion в #touchdesigner локально на вашем компьютере
Социальные сети:
https://www.instagram.com/olegchomp/
https://www.instagram.com/vjschool/
https://twitter.com/oleg__chomp/
Ссылки и команды:
00:00…
Социальные сети:
https://www.instagram.com/olegchomp/
https://www.instagram.com/vjschool/
https://twitter.com/oleg__chomp/
Ссылки и команды:
00:00…
Forwarded from эйай ньюз
⚡️NerfStudio: Простая библиотека для создания NeRF-ов и с охеренным web-GUI
Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.
🔥Реализованные методы:
- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.
❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial
@ai_newz
Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.
🔥Реализованные методы:
- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.
❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial
@ai_newz
VJ SCHOOL
TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner локально на вашем компьютере. https://youtu.be/CqpJ7roRj5Y #touchdesigner #stablediffusion #ai
Кто-то уже пробовал поиграться? Были какие-то сложности при установке?
Cделал на Github список задач для следующих версий:
- img2img генерация
- Выбор модели Stable Diffusion
- Контроль версий
- Интерполяция между seed
- Сохранение шагов генерации
Cделал на Github список задач для следующих версий:
- img2img генерация
- Выбор модели Stable Diffusion
- Контроль версий
- Интерполяция между seed
- Сохранение шагов генерации
GitHub
GitHub - olegchomp/TDDiffusionAPI: TouchDesigner interface for AUTOMATIC1111
TouchDesigner interface for AUTOMATIC1111. Contribute to olegchomp/TDDiffusionAPI development by creating an account on GitHub.
Media is too big
VIEW IN TELEGRAM
Depth2Image — создание текстур в Stable Diffusion с помощью Depth модели. TouchDesigner geometry - > Depth2Image -> TouchDesigner texture.
#touchdesigner #stablediffusion #tddiffusionapi
#touchdesigner #stablediffusion #tddiffusionapi
Traceback — если вы работали с Python, то конечно знаете про трассировку ошибок. Для меня сегодня было открытие, что можно с помощью модуля traceback записывать ошибки, отправлять например через сокет и смотреть почему что-то не работает. Это очень удобно, когда скрипт принимает много аргументов и каждый раз их прописывать, пытаться каким-то образом дебажить код.
TouchDesigner xformers — библиотека для ускорения и оптимизации Stable Diffusion в TD.
<fortochka>
В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял c stackoverflow, хотя это странно, так как все работает в виртуальной среде) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python.
</fortochka>
Пойду тогда прикручивать SD к Resolume.
#touchdesigner #stablediffusion #ai
<fortochka>
В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял c stackoverflow, хотя это странно, так как все работает в виртуальной среде) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python.
</fortochka>
Пойду тогда прикручивать SD к Resolume.
#touchdesigner #stablediffusion #ai
This media is not supported in your browser
VIEW IN TELEGRAM
VJ APP — приложение для расширения возможностей Resolume. Ниже список уже разрабатываемых функций, а также будет здорово услышать ваши идеи.
Каких расширений вам не хватает и что поможет упростить какие-то задачи?
Timer - запуск клипов в определенное время. Скрипт уже доступен для скачивания, но хочется сделать более удобный UI
Watcher - автоматическая загрузка файлов из папки в композицию. Пример работы на видео выше.
Router - роутинг и логические условия для OSC в Resolume. Например, включить следующую колонку, когда доиграет определенный клип.
#Resolume
Каких расширений вам не хватает и что поможет упростить какие-то задачи?
Timer - запуск клипов в определенное время. Скрипт уже доступен для скачивания, но хочется сделать более удобный UI
Watcher - автоматическая загрузка файлов из папки в композицию. Пример работы на видео выше.
Router - роутинг и логические условия для OSC в Resolume. Например, включить следующую колонку, когда доиграет определенный клип.
#Resolume
RTX Video Super Resolution — Компания NVIDIA представила аналог ИИ-масштабирования DLSS. Технология улучшения качества изображения потокового видео в браузерах, способная масштабировать потоковое видео с разрешением Full HD до разрешения 4K и при этом улучшать качество изображения.
https://youtu.be/XA-tQpQqD7U
#ai
https://youtu.be/XA-tQpQqD7U
#ai
YouTube
Introducing RTX Video Super Resolution - 4K AI Upscaling for Chrome & Edge Video
Take your videos to the next resolution with this new video AI upscaling feature coming to RTX 40 and 30 Series GPUs. Easily upscale 1080p video to 4K. Check out how it works in this video demo.
Source game footage captured at 1080p using H.264 @ 8mbps bitrate.…
Source game footage captured at 1080p using H.264 @ 8mbps bitrate.…
This media is not supported in your browser
VIEW IN TELEGRAM
TD_3ds — GitHub с проектами TouchDesigner от xyzuvwopq. Более 100 примеров по работе с SOP контекстом, доступны для скачивания.
https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq
#touchdesigner
https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq
#touchdesigner
Unreal VDB — обновления плагина для работы с OpenVDB и NanoVDB в Unreal Engine. Из интересного - возможность выводить пасы AOV.
https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0
#unrealengine
https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0
#unrealengine
Project Chronos — Lenovo представили медиа-центр с камерой глубины на CES 2023. Устройство подключается к экрану по HDMI или DP. В комплект идут игры и фитнес приложения, но в теории будет доступ для разработчиков и можно будет использовать в своих целях.
https://m.youtube.com/watch?v=Fg5oEuXPUYk
#hardware
https://m.youtube.com/watch?v=Fg5oEuXPUYk
#hardware
YouTube
Lenovo Project Chronos
The ability to collaborate, connect, and achieve in both the virtual and physical worlds has a growing appeal now more than ever. Lenovo Project Chronos concept offers a full-body-movement-driven experience that enables consumers and creators to virtually…
WIFI Body tracking — нейронная сеть определяет положение тела человека, через фазу и амплитуду WIFI сигнала. Ключевая особенность, помимо того, что это просто неожиданный подход к задаче - доступность технологии и стабильность работы вне зависимости от освещения и окружения.
https://arxiv.org/abs/2301.00250
https://arxiv.org/abs/2301.00250