RTX Video Super Resolution — Компания NVIDIA представила аналог ИИ-масштабирования DLSS. Технология улучшения качества изображения потокового видео в браузерах, способная масштабировать потоковое видео с разрешением Full HD до разрешения 4K и при этом улучшать качество изображения.

https://youtu.be/XA-tQpQqD7U

#ai

TD_3ds — GitHub с проектами TouchDesigner от xyzuvwopq. Более 100 примеров по работе с SOP контекстом, доступны для скачивания.

https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq

#touchdesigner

Unreal VDB — обновления плагина для работы с OpenVDB и NanoVDB в Unreal Engine. Из интересного - возможность выводить пасы AOV.

https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0

#unrealengine

Project Chronos — Lenovo представили медиа-центр с камерой глубины на CES 2023. Устройство подключается к экрану по HDMI или DP. В комплект идут игры и фитнес приложения, но в теории будет доступ для разработчиков и можно будет использовать в своих целях.

https://m.youtube.com/watch?v=Fg5oEuXPUYk

#hardware

WIFI Body tracking — нейронная сеть определяет положение тела человека, через фазу и амплитуду WIFI сигнала. Ключевая особенность, помимо того, что это просто неожиданный подход к задаче - доступность технологии и стабильность работы вне зависимости от освещения и окружения.

https://arxiv.org/abs/2301.00250

TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта.

Напишите в комментариях, если есть желание поиграться в бета-тесте.

#touchdesigner #stablediffusion #tddiffusionapi

Два дня пытался пофиксить баг, переписал пайплайн несколько раз и в итоге узнал что FolderIn DAT не работает в Engine COMP. Такие вот дела.

Metahuman и TouchDesigner — довольно грубый концепт управления лицевого рига персонажа с помощью OSC команд. Когда доделывал привязку понял что делаю это неправильно и надо переделывать заново 🤦🏻‍♂️

Продолжение RnD с Metahuman — надо конечно уменьшить влияние эмоций, а также сделать idle позы во время ожидания вопроса. Ну и в целом это как-то ускорить, если что видео ускорено x10 в моментах генерации. На ответ получается 15-60 секунд, сперва ChatGPT, а потом генерация Blendshapes увеличивает время ответа.
В теории можно просто сделать движение рта от звука, но с мимикой выглядит гораздо интересней.

Есть желание прикрутить чат из телеграмма и сделать трансляцию в канале, можно будет поиграться вживую, что думаете?

Продолжение RnD с Metahuman [2] — прикрутил почти все что хотел. Пришлось отказаться от ChatGPT, так как ответа от сервера ждать по 30 секунд каждый раз. Если сравнивать первые итерации, где видео ускорено в 10 раз, а на этом видео риал-тайм, то результат очень даже классный. В теории, было бы здорово переехать на GPT-J для большего контроля над ответами.

У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию.

Автор, правда, ничего лучше не придумал, чтобы попросить описание блендера в 10 словах (кину в комменты).

Но стремиться лучше к тому, что в видосе сверху поста. Это правда немного другая история.

GIT
Video

Me: AI ассистенты это мощный инструмент для решения различных задач 🤔
Also me: Надо прикрутить модель детектор покемонов и играть в "Что это за Покемон?" 😂

Piano co-pilot — концепт "low-res" пианино от 2018 года. Энкодер использует восемь кнопок контролера и преобразует их в 88 клавиш пианино.

https://twitter.com/DrJimFan/status/1625167688883646464