Forwarded from эйай ньюз
⚡️NerfStudio: Простая библиотека для создания NeRF-ов и с охеренным web-GUI
Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.
🔥Реализованные методы:
- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.
❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial
@ai_newz
Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.
🔥Реализованные методы:
- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.
❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial
@ai_newz
VJ SCHOOL
TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner локально на вашем компьютере. https://youtu.be/CqpJ7roRj5Y #touchdesigner #stablediffusion #ai
Кто-то уже пробовал поиграться? Были какие-то сложности при установке?
Cделал на Github список задач для следующих версий:
- img2img генерация
- Выбор модели Stable Diffusion
- Контроль версий
- Интерполяция между seed
- Сохранение шагов генерации
Cделал на Github список задач для следующих версий:
- img2img генерация
- Выбор модели Stable Diffusion
- Контроль версий
- Интерполяция между seed
- Сохранение шагов генерации
GitHub
GitHub - olegchomp/TDDiffusionAPI: TouchDesigner interface for AUTOMATIC1111
TouchDesigner interface for AUTOMATIC1111. Contribute to olegchomp/TDDiffusionAPI development by creating an account on GitHub.
Media is too big
VIEW IN TELEGRAM
Depth2Image — создание текстур в Stable Diffusion с помощью Depth модели. TouchDesigner geometry - > Depth2Image -> TouchDesigner texture.
#touchdesigner #stablediffusion #tddiffusionapi
#touchdesigner #stablediffusion #tddiffusionapi
Traceback — если вы работали с Python, то конечно знаете про трассировку ошибок. Для меня сегодня было открытие, что можно с помощью модуля traceback записывать ошибки, отправлять например через сокет и смотреть почему что-то не работает. Это очень удобно, когда скрипт принимает много аргументов и каждый раз их прописывать, пытаться каким-то образом дебажить код.
TouchDesigner xformers — библиотека для ускорения и оптимизации Stable Diffusion в TD.
<fortochka>
В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял c stackoverflow, хотя это странно, так как все работает в виртуальной среде) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python.
</fortochka>
Пойду тогда прикручивать SD к Resolume.
#touchdesigner #stablediffusion #ai
<fortochka>
В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял c stackoverflow, хотя это странно, так как все работает в виртуальной среде) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python.
</fortochka>
Пойду тогда прикручивать SD к Resolume.
#touchdesigner #stablediffusion #ai
This media is not supported in your browser
VIEW IN TELEGRAM
VJ APP — приложение для расширения возможностей Resolume. Ниже список уже разрабатываемых функций, а также будет здорово услышать ваши идеи.
Каких расширений вам не хватает и что поможет упростить какие-то задачи?
Timer - запуск клипов в определенное время. Скрипт уже доступен для скачивания, но хочется сделать более удобный UI
Watcher - автоматическая загрузка файлов из папки в композицию. Пример работы на видео выше.
Router - роутинг и логические условия для OSC в Resolume. Например, включить следующую колонку, когда доиграет определенный клип.
#Resolume
Каких расширений вам не хватает и что поможет упростить какие-то задачи?
Timer - запуск клипов в определенное время. Скрипт уже доступен для скачивания, но хочется сделать более удобный UI
Watcher - автоматическая загрузка файлов из папки в композицию. Пример работы на видео выше.
Router - роутинг и логические условия для OSC в Resolume. Например, включить следующую колонку, когда доиграет определенный клип.
#Resolume
RTX Video Super Resolution — Компания NVIDIA представила аналог ИИ-масштабирования DLSS. Технология улучшения качества изображения потокового видео в браузерах, способная масштабировать потоковое видео с разрешением Full HD до разрешения 4K и при этом улучшать качество изображения.
https://youtu.be/XA-tQpQqD7U
#ai
https://youtu.be/XA-tQpQqD7U
#ai
YouTube
Introducing RTX Video Super Resolution - 4K AI Upscaling for Chrome & Edge Video
Take your videos to the next resolution with this new video AI upscaling feature coming to RTX 40 and 30 Series GPUs. Easily upscale 1080p video to 4K. Check out how it works in this video demo.
Source game footage captured at 1080p using H.264 @ 8mbps bitrate.…
Source game footage captured at 1080p using H.264 @ 8mbps bitrate.…
This media is not supported in your browser
VIEW IN TELEGRAM
TD_3ds — GitHub с проектами TouchDesigner от xyzuvwopq. Более 100 примеров по работе с SOP контекстом, доступны для скачивания.
https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq
#touchdesigner
https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq
#touchdesigner
Unreal VDB — обновления плагина для работы с OpenVDB и NanoVDB в Unreal Engine. Из интересного - возможность выводить пасы AOV.
https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0
#unrealengine
https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0
#unrealengine
Project Chronos — Lenovo представили медиа-центр с камерой глубины на CES 2023. Устройство подключается к экрану по HDMI или DP. В комплект идут игры и фитнес приложения, но в теории будет доступ для разработчиков и можно будет использовать в своих целях.
https://m.youtube.com/watch?v=Fg5oEuXPUYk
#hardware
https://m.youtube.com/watch?v=Fg5oEuXPUYk
#hardware
YouTube
Lenovo Project Chronos
The ability to collaborate, connect, and achieve in both the virtual and physical worlds has a growing appeal now more than ever. Lenovo Project Chronos concept offers a full-body-movement-driven experience that enables consumers and creators to virtually…
WIFI Body tracking — нейронная сеть определяет положение тела человека, через фазу и амплитуду WIFI сигнала. Ключевая особенность, помимо того, что это просто неожиданный подход к задаче - доступность технологии и стабильность работы вне зависимости от освещения и окружения.
https://arxiv.org/abs/2301.00250
https://arxiv.org/abs/2301.00250
VJ SCHOOL
TDDiffusion API v.1.0.7 — обновление компонента генерации изображений из Stable Diffusion в TouchDesigner. Многое что сделано из списка задач, но главное это img2img генерация! Напишите в комментариях, если есть желание поиграться в бета-тесте.
TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта.
Напишите в комментариях, если есть желание поиграться в бета-тесте.
#touchdesigner #stablediffusion #tddiffusionapi
Напишите в комментариях, если есть желание поиграться в бета-тесте.
#touchdesigner #stablediffusion #tddiffusionapi
VJ SCHOOL
TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта. Напишите в комментариях, если есть желание поиграться в бета-тесте. #touchdesigner #stablediffusion #tddiffusionapi
Два дня пытался пофиксить баг, переписал пайплайн несколько раз и в итоге узнал что FolderIn DAT не работает в Engine COMP. Такие вот дела.
This media is not supported in your browser
VIEW IN TELEGRAM
Metahuman и TouchDesigner — довольно грубый концепт управления лицевого рига персонажа с помощью OSC команд. Когда доделывал привязку понял что делаю это неправильно и надо переделывать заново 🤦🏻♂️
VJ SCHOOL
Metahuman и TouchDesigner — довольно грубый концепт управления лицевого рига персонажа с помощью OSC команд. Когда доделывал привязку понял что делаю это неправильно и надо переделывать заново 🤦🏻♂️
This media is not supported in your browser
VIEW IN TELEGRAM
Продолжение RnD с Metahuman — надо конечно уменьшить влияние эмоций, а также сделать idle позы во время ожидания вопроса. Ну и в целом это как-то ускорить, если что видео ускорено x10 в моментах генерации. На ответ получается 15-60 секунд, сперва ChatGPT, а потом генерация Blendshapes увеличивает время ответа.
В теории можно просто сделать движение рта от звука, но с мимикой выглядит гораздо интересней.
Есть желание прикрутить чат из телеграмма и сделать трансляцию в канале, можно будет поиграться вживую, что думаете?
В теории можно просто сделать движение рта от звука, но с мимикой выглядит гораздо интересней.
Есть желание прикрутить чат из телеграмма и сделать трансляцию в канале, можно будет поиграться вживую, что думаете?
VJ SCHOOL
Продолжение RnD с Metahuman — надо конечно уменьшить влияние эмоций, а также сделать idle позы во время ожидания вопроса. Ну и в целом это как-то ускорить, если что видео ускорено x10 в моментах генерации. На ответ получается 15-60 секунд, сперва ChatGPT,…
Media is too big
VIEW IN TELEGRAM
Продолжение RnD с Metahuman [2] — прикрутил почти все что хотел. Пришлось отказаться от ChatGPT, так как ответа от сервера ждать по 30 секунд каждый раз. Если сравнивать первые итерации, где видео ускорено в 10 раз, а на этом видео риал-тайм, то результат очень даже классный. В теории, было бы здорово переехать на GPT-J для большего контроля над ответами.
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию.
Автор, правда, ничего лучше не придумал, чтобы попросить описание блендера в 10 словах (кину в комменты).
Но стремиться лучше к тому, что в видосе сверху поста. Это правда немного другая история.
GIT
Video
Автор, правда, ничего лучше не придумал, чтобы попросить описание блендера в 10 словах (кину в комменты).
Но стремиться лучше к тому, что в видосе сверху поста. Это правда немного другая история.
GIT
Video
Media is too big
VIEW IN TELEGRAM
Me: AI ассистенты это мощный инструмент для решения различных задач 🤔
Also me: Надо прикрутить модель детектор покемонов и играть в "Что это за Покемон?" 😂
Also me: Надо прикрутить модель детектор покемонов и играть в "Что это за Покемон?" 😂
This media is not supported in your browser
VIEW IN TELEGRAM
Piano co-pilot — концепт "low-res" пианино от 2018 года. Энкодер использует восемь кнопок контролера и преобразует их в 88 клавиш пианино.
https://twitter.com/DrJimFan/status/1625167688883646464
https://twitter.com/DrJimFan/status/1625167688883646464