VJ SCHOOL
TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Постараюсь сделать урок на этой неделе, но если уже хотите потестить, то вот инструкция. Переписал компонент с нуля, теперь все работает в самом…
TDA ControlNet — тестирую ControlNet в TDDiffusion API. Надеюсь скоро зарелизить и можно будет играться с более consistent генерацией.
VJ SCHOOL
TDA ControlNet — тестирую ControlNet в TDDiffusion API. Надеюсь скоро зарелизить и можно будет играться с более consistent генерацией.
Небольшой пример с текстом из карты глубины
TDDiffusion API & ControlNet — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.2 добавлена поддержка ControlNet.
Если еще не знаете про ControlNet, то вот подборка уроков на YouTube
https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.2
Если еще не знаете про ControlNet, то вот подборка уроков на YouTube
https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.2
There's an AI for that — сайт с ежедневными обновлениями AI инструментов, в формате задачи и ее решения. На момент поста, представлено 2285 AI инструментов для 550 задач. Многие инструменты доступны в онлайн формате и не требуют локальной установки.
https://theresanaiforthat.com/
https://theresanaiforthat.com/
There's An AI For That
There's An AI For That (TAAFT) - The #1 AI Aggregator
The largest database of 12,502 AIs available for over 15,228 tasks. Use our smart AI search to find the best AI tools for any use case.
aiNodes Engine — инструмент визуального программирования для Stable Diffusion. Проект позволяет использовать функции SD в виде нод и строить последовательности выполнения.
https://github.com/XmYx/ainodes-engine
https://github.com/XmYx/ainodes-engine
How about another Joke, Murraaaay? — анимация созданная с помощью StableDiffusion и Controlnet из фрагмента фильма «Джокер». Ранее Corridor Crew выпустили аналогичный ролик (видео в комментариях к посту), в котором показали процесс создания анимации.
https://www.youtube.com/watch?v=_9fBXmTQ_Sg
https://www.youtube.com/watch?v=_9fBXmTQ_Sg
YouTube
How about another Joke, Murraaaay? 🤡 Joker AI animation / Stable Diffusion
@StableDiffusion
#midjourney #ai #technology #stablediffusion #controlnet #animation #aiart #neuralnetworks #GAN #meme #anime #animedrawing #AnimeArt #joker2 @Aitrepreneur #joker
#midjourney #ai #technology #stablediffusion #controlnet #animation #aiart #neuralnetworks #GAN #meme #anime #animedrawing #AnimeArt #joker2 @Aitrepreneur #joker
AI лицевая анимация — LiveLink синхронизация NVIDIA Audio2Face и Unreal Engine Metahuman.
https://youtu.be/tgq9m1HgASE
https://youtu.be/tgq9m1HgASE
YouTube
AI лицевая анимация — LiveLink синхронизация NVIDIA Audio2Face и Unreal Engine Metahuman
В этому уроке я расскажу как сделать синхронизации в реальному времени с помощью Omniverse Audio2Face и UE5 Metahuman.
Расширенный урок на Boosty:
— https://boosty.to/vjschool/posts/6fd5114b-b941-4ead-bc79-e9674d5736ee?share=post_link
00:00 - Интро
00:09…
Расширенный урок на Boosty:
— https://boosty.to/vjschool/posts/6fd5114b-b941-4ead-bc79-e9674d5736ee?share=post_link
00:00 - Интро
00:09…
ChatGPT и Nvidia Omniverse — видео и пост на Medium (ссылка в первом комментарии) о том, как инструменты генеративного ИИ, включая ChatGPT, можно использовать для создания 3D-контента, чтобы сократить количество ручных задач и помочь авторам сосредоточиться на приятных аспектах своей работы.
https://www.youtube.com/watch?v=mFazJsjUUSo
https://www.youtube.com/watch?v=mFazJsjUUSo
YouTube
Using ChatGPT and GPT-4 to Generate 3D Content in Omniverse
See how APIs for GPT-4 and NVIDIA DeepSearch were combined to rapidly generate 3D objects with simple, text-based prompts in this experimental project from t...
This media is not supported in your browser
VIEW IN TELEGRAM
Resolume 7.15 — превью обновления, в котором наконец-то добавят возможность сворачивать слои!
TDDiffusion API & Seed travel — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.4 добавлена поддержка скрипта Seed travel.
Seed travel позволяет создавать анимации с интерполяцией между сидами. В комментариях пример видео и интерфейса.
https://github.com/olegchomp/TDDiffusionAPI/releases/
Seed travel позволяет создавать анимации с интерполяцией между сидами. В комментариях пример видео и интерфейса.
https://github.com/olegchomp/TDDiffusionAPI/releases/
TDDiffusion API & Upscale — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.6 добавлено:
- Upscale. AI увеличение размеров изображения.
- Random seed. Генерация случайного сида при каждой генерации картинки.
- Controlnet detect. Возможность использовать модули без генерации самого изображения. Например сгенерировать карту глубины из любого TOP.
https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.6
- Upscale. AI увеличение размеров изображения.
- Random seed. Генерация случайного сида при каждой генерации картинки.
- Controlnet detect. Возможность использовать модули без генерации самого изображения. Например сгенерировать карту глубины из любого TOP.
https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.0.6
GitHub
Release TDDiffusionAPI-v.2.0.6 · olegchomp/TDDiffusionAPI
fixed not finding output path
fixed lexica not searching for images
updated seed travel to latest version
added random seed toggle
added controlnet separate detect image function
added Upscale func...
fixed lexica not searching for images
updated seed travel to latest version
added random seed toggle
added controlnet separate detect image function
added Upscale func...
VJ SCHOOL
TDDiffusion API & Upscale — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. В версии 2.0.6 добавлено: - Upscale. AI увеличение размеров изображения. - Random seed. Генерация случайного сида при каждой генерации картинки.…
Paisley Skies — видео сгенерированное художником NEWP Visuals с помощью TDDiffusion API в TouchDesigner. Автор немного рассказал про пайплайн в дискорде, он использует несколько слоев и смешивает их через feedback.
Если честно не ожидал, что можно прийти к такой интерполяции в TD с помощью feedback. Визуально очень напоминает Deforum конечно.
https://www.youtube.com/watch?v=8M9TxIEws3o
Если честно не ожидал, что можно прийти к такой интерполяции в TD с помощью feedback. Визуально очень напоминает Deforum конечно.
https://www.youtube.com/watch?v=8M9TxIEws3o
YouTube
Paisley Skies
A trip through the multiverse.
One of many videos of this new technique I'm developing around Stable Diffusion using a feedback loop in Touch Designer around the TDDiffusionAPI leveraging Automatic1111 API.
Prompt: a realistic painting of a planet with…
One of many videos of this new technique I'm developing around Stable Diffusion using a feedback loop in Touch Designer around the TDDiffusionAPI leveraging Automatic1111 API.
Prompt: a realistic painting of a planet with…
Media is too big
VIEW IN TELEGRAM
Track-Anything — инструмент для трекинга и сегментации объектов в видео. Для создания маски используется AI модель Segment Anything (SAM). Также на Github есть пример с Inpaint моделью, для удаления объектов с видео.
https://github.com/gaomingqi/Track-Anything
https://github.com/gaomingqi/Track-Anything
Resolume 7.15 — обновление в котором добавлено сворачивание слоев и групп, новые эффекты Dilate, Sharpen, Kuwahara, а также встроенный блокнот.
https://m.youtube.com/watch?v=X0_3zd-MKPQ
https://m.youtube.com/watch?v=X0_3zd-MKPQ
YouTube
Resolume 7.15 Release Video
Fold them layers baby!
Resolume: https://resolume.com/
Footage Used
Modul02 https://resolume.com/footage/modul02
Pyrite https://resolume.com/footage/pyrite
Wing Commander https://resolume.com/footage/wingcommander
IsoBlocks https://resolume.com/footage/isoblocks…
Resolume: https://resolume.com/
Footage Used
Modul02 https://resolume.com/footage/modul02
Pyrite https://resolume.com/footage/pyrite
Wing Commander https://resolume.com/footage/wingcommander
IsoBlocks https://resolume.com/footage/isoblocks…
This media is not supported in your browser
VIEW IN TELEGRAM
Stable Diffusion & AITemplate — фреймворк ускоряющий генерацию в два раза. При использовании PyTorch моделей с параметрами 512x512, 20 steps, 15 cfg, 0.6 denoising strength скорость обычно около 1.5-3 секунд на генерацию, а с AITemplate в среднем 0.7-0.9 секунд. И это очень круто, не риал-тайм конечно, но все равно :)
Осталось разобраться с ControlNet и попробовать улучшить качество, в примере SD 1.5 от Runway ML.
Осталось разобраться с ControlNet и попробовать улучшить качество, в примере SD 1.5 от Runway ML.
VJ SCHOOL
Stable Diffusion & AITemplate — фреймворк ускоряющий генерацию в два раза. При использовании PyTorch моделей с параметрами 512x512, 20 steps, 15 cfg, 0.6 denoising strength скорость обычно около 1.5-3 секунд на генерацию, а с AITemplate в среднем 0.7-0.9 секунд.…
Media is too big
VIEW IN TELEGRAM
А вот и Delibarate модель, с небольшим feedback в TouchDesigner
This media is not supported in your browser
VIEW IN TELEGRAM
iKeleton OSC — iOS приложение для захвата движения и отправки значений по OSC. Можно скачать бесплатно до пятого мая.
https://derivative.ca/community-post/asset/download-ikeleton-osc-free-until-may-5/67733
https://derivative.ca/community-post/asset/download-ikeleton-osc-free-until-may-5/67733
VJ SCHOOL
А вот и Delibarate модель, с небольшим feedback в TouchDesigner
Media is too big
VIEW IN TELEGRAM
Еще немного ускорения до 0.5 и добавил управление денойзом. Старался двигаться медленее, чтобы сохранить цельность картинки.
This media is not supported in your browser
VIEW IN TELEGRAM
TouchDesigner & RIFE — интерполяция между кадрами с помощью машинного обучения. В двух словах с помощью RIFE можно превратить 30 в 60, 120 и более FPS. Единственное что непонятно, RIFE это Real-Time Intermediate Flow Estimation for Video Frame Interpolation, но где здесь real-time я не очень понял. В примере 15 промежуточных изображений занимает около 2-3 секунд. Но в любом случае, теперь надо прикрутить к Stable Diffusion и посмотреть что получится.
VJ SCHOOL
TouchDesigner & RIFE — интерполяция между кадрами с помощью машинного обучения. В двух словах с помощью RIFE можно превратить 30 в 60, 120 и более FPS. Единственное что непонятно, RIFE это Real-Time Intermediate Flow Estimation for Video Frame Interpolation…
Небольшой апдейт, на 30 кадров 512х512 получается меньше секунды 🤷🏻♂️