FRAME — концепт интерактивной инсталляции в Touchdesigner и Stable Diffusion. Главная идея использовать рисунок сделанный с leap motion, как источник для SD. Не смог удержаться чтобы поделиться, все выглядит еще сыро и очень многое надо доделать/переделать, но энивэй :)

#touchdesigner #stablediffusion #ai

OP–Z Stable Diffusion —вдохновленное теорией синестезии, приложение трансформирует такие аудио метрики, как pitch, key, notes, rhythm и BPM в Stable Diffusion prompts, описывающие цвет, форму и движение генерируемых изображений.

https://modemworks.com/projects/op-z-stable-diffusion/

#stablediffusion #ai

Annie — концепт объединяющий в себе Unreal Engine, Metahuman, Stable Diffusion, GPT 3 и позволяющий создавать интерактивных ассистентов. Комментарии разработчика можно почитать в небольшой статье.

#unrealengine #stablediffusion #ai

Future Diffusion (Redshift diffusion) — модель Stable Diffusion 2.0 дообученная на 3D графике в разрешении 768х768.

https://huggingface.co/nitrosocke/redshift-diffusion-768

#stablediffusion #ai

Distilled StableDiffusion 2 — анонс модели, позволяющей в 20 раз ускорить генерацию. Если верить твиту, то генерация 50 шагов снизилась с 5.6 до 0.9 секунд!
Ждём релиза и готовимся прикручивать к Touchdesigner.

https://twitter.com/emostaque/status/1598131202044866560

#stablediffusion #ai

TD Diffusion — имплементация Stable Diffusion в TouchDesigner. Работает в img2img моде на разрешении 512x512, но еще не в риалтайме.
txt2img довольно быстро запустился, а с img2img было сложнее. И да, это не SD API, все крутиться в TD, что и видно по зависанию на несколько секунд.

#touchdesigner #stablediffusion #ai

TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner локально на вашем компьютере.

https://youtu.be/CqpJ7roRj5Y

#touchdesigner #stablediffusion #ai

Depth2Image — создание текстур в Stable Diffusion с помощью Depth модели. TouchDesigner geometry - > Depth2Image -> TouchDesigner texture.

#touchdesigner #stablediffusion #tddiffusionapi

TouchDesigner xformers — библиотека для ускорения и оптимизации Stable Diffusion в TD.

<fortochka>
В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял c stackoverflow, хотя это странно, так как все работает в виртуальной среде) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python.
</fortochka>

Пойду тогда прикручивать SD к Resolume.

#touchdesigner #stablediffusion #ai

TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта.

Напишите в комментариях, если есть желание поиграться в бета-тесте.

#touchdesigner #stablediffusion #tddiffusionapi

How about another Joke, Murraaaay? — анимация созданная с помощью StableDiffusion и Controlnet из фрагмента фильма «Джокер». Ранее Corridor Crew выпустили аналогичный ролик (видео в комментариях к посту), в котором показали процесс создания анимации.

https://www.youtube.com/watch?v=_9fBXmTQ_Sg

Как подключить что угодно к Stable Diffusion — в этом видео мы рассмотрим базовые примеры как подключить Вебкамеру, Photoshop или любую другую программу к Stable Diffusion, с помощью ComfyUI и TouchDesigner.

https://youtu.be/utJqviJW7YU