TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта.

Напишите в комментариях, если есть желание поиграться в бета-тесте.

#touchdesigner #stablediffusion #tddiffusionapi

Два дня пытался пофиксить баг, переписал пайплайн несколько раз и в итоге узнал что FolderIn DAT не работает в Engine COMP. Такие вот дела.

Metahuman и TouchDesigner — довольно грубый концепт управления лицевого рига персонажа с помощью OSC команд. Когда доделывал привязку понял что делаю это неправильно и надо переделывать заново 🤦🏻‍♂️

Продолжение RnD с Metahuman — надо конечно уменьшить влияние эмоций, а также сделать idle позы во время ожидания вопроса. Ну и в целом это как-то ускорить, если что видео ускорено x10 в моментах генерации. На ответ получается 15-60 секунд, сперва ChatGPT, а потом генерация Blendshapes увеличивает время ответа.
В теории можно просто сделать движение рта от звука, но с мимикой выглядит гораздо интересней.

Есть желание прикрутить чат из телеграмма и сделать трансляцию в канале, можно будет поиграться вживую, что думаете?

Продолжение RnD с Metahuman [2] — прикрутил почти все что хотел. Пришлось отказаться от ChatGPT, так как ответа от сервера ждать по 30 секунд каждый раз. Если сравнивать первые итерации, где видео ускорено в 10 раз, а на этом видео риал-тайм, то результат очень даже классный. В теории, было бы здорово переехать на GPT-J для большего контроля над ответами.

У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию.

Автор, правда, ничего лучше не придумал, чтобы попросить описание блендера в 10 словах (кину в комменты).

Но стремиться лучше к тому, что в видосе сверху поста. Это правда немного другая история.

GIT
Video

Me: AI ассистенты это мощный инструмент для решения различных задач 🤔
Also me: Надо прикрутить модель детектор покемонов и играть в "Что это за Покемон?" 😂

Piano co-pilot — концепт "low-res" пианино от 2018 года. Энкодер использует восемь кнопок контролера и преобразует их в 88 клавиш пианино.

https://twitter.com/DrJimFan/status/1625167688883646464

TouchDesigner's UI — урок про модификацию интерфейса TouchDesigner. Видео показывает как добавить кастомные инструменты в панель меню.

https://youtu.be/zzWvnlYdeQM

TDResources — система вызова компонентов через Global OP Shortcut. Доступны такие компоненты как POP-UP MENU, BUTTON POP-UP MENU, POP-UP DIALOG, MOUSE, WEBCLIENT.

Например: можно сделать асинхронные веб-запросы без ноды webclientDAT. Создаете функцию callback и добавляете в нужном месте: op.TDResources.WebClient.Request(callback, url, method *args)

https://derivative.ca/UserGuide/TDResources

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Постараюсь сделать урок на этой неделе, но если уже хотите потестить, то вот инструкция.

Переписал компонент с нуля, теперь все работает в самом TD без внешних Python скриптов.

https://github.com/olegchomp/TDDiffusionAPI

Resolume REST API — управление Resolume из веб-браузера с любых устройств. Довольно простой пример, который появился после вопроса в чате про управление с телефона двумя кнопками.

Скидываете режиссеру ссылку на страничку и идете обедать.

Анализатор BPM — автоматически считаем BPM в Resolume.

https://youtu.be/vrkMMczTP1s