EDGE — Editable Dance Generation From Music. На вход модели подается аудио-фрагмент, на выходе получает анимированный fbx скелет, такой вот фристайл от ИИ. В описании написано что не должно быть летающих ног, но как-то в результате это не работает.

Скидывайте в комментарии название треков/песен, посмотрим, какие танцы получатся )

Вот вам EDGE (генерация танца из музыки) и Stable Diffusion (стилизация видео) на мотив Король и Шут. Возможно это опенинг для анимэ или тик-ток для панк-рок vtuber'a, кажется что-то в этом есть.

Очень интересно довести это до какой-то законченной картинки, но на сегодня ваш компьютер можно выключать. )

HokuyoUtil — компонент Touchdesigner для работы с лидарами Hokuyo. Главные особенности это удобный интерфейс, трекинг, настройка перспективы, объединение нескольких сенсоров и отправка данных по OSC

https://youtu.be/Xxw_gUPUcy8

Redshift & Unreal Engine — обновление плагина Cineware by Maxon, в котором добавили поддержку материалов из Redshift.

https://www.unrealengine.com/marketplace/en-US/product/cineware-by-maxon

ControlNet v1.1: A complete guide — гайд по всем препоцессорам и моделям для CN в Stable Diffusion .
В двух словах, ControlNet позволяет задать на вход сети-копии скетч, контур картинки, карту глубины, позу и так далее. На выходе получается картинка, сгенерированная в соответствии с заданными параметрами.

https://stable-diffusion-art.com/controlnet/

AWS выпустила Deadline 10.3 — бесплатную систему управления рендерфермой. Обновление включает поддержку Movie Render Queue в Unreal Engine 5.

https://aws.amazon.com/about-aws/whats-new/2023/08/aws-thinkbox-deadline-10-3/

TouchDesigner 2023.10130 — первая экспериментальная версия в 2023 году от Derivative. Из интересного:
- Переход на Python 3.11 и ускорение на 10-60%
- Bloom TOP добавляет эффект свечения к ярким фрагментам изображения.
- Body Track CHOP трекинг (захват движения) с помощью Nvidia Maxine AR SDK.
- Nvidia Upscaler TOP увеличения разрешения с помощью Nvidia Maxine Video Effects SDK.

Полный список обновлений:
https://derivative.ca/release/202310130/68169

Dash — инструмент для Unreal Engine от Polygonflow, ускоряющий и упрощающий процесс создания окружения. Плагин выглядит, как строка промпта и интуитивный интерфейс, автоматизирующие задачи.

https://youtu.be/NVSEN3ND6VU

Pulse — инструмент от разработчика Chaser для автоматического определения BPM и синхронизации с Resolume.
Цена немного завышена (59 евро со скидкой), но и качественных и актуальных plug&play аналогов особо нет.

https://youtu.be/QTRiEj34FR4?si=VVNy1CjhHl3A-MET

Upside-down — оптическая иллюзия от Alex Carlier, созданная с помощью Stable Diffusion XL модели . Переверните телефон или изображение чтобы увидеть эффект. Если хотите повторить, то вот ссылка на коллаб:

https://colab.research.google.com/drive/1rjDQOn11cTHAf3Oeq87Hfl_Vh41NbTl4?usp=sharing

Pinokio — браузер, который позволяет автоматически устанавливать, запускать и автоматизировать любые приложения и модели искусственного интеллекта.

Если вы хотели попробовать всевозможные AI инструменты, но не умеете работать с кодом или сталкивались со сложной установкой, то стоит попробовать это решение.

https://youtu.be/mB_bZC8pMDA?si=LOFrj5HaSAUccaYV

Nicolas Cage is Childish Gambino — пример Deepfake созданного с помощью FaceFusion и Pinokio из предыдущего поста.
Самое интересное что на весь процесс ушло 10 мин на Mac m1 max.

Artist Style Studies — список из 4387 стилей для промптов SDXL с примерами.

https://sdxl.parrotzone.art/

ProPainter — новый метод видео-inpaint с помощью искусственного интеллекта, который позволяет удалять объекты, водяные знаки и поддерживает видео-outpaint.

https://shangchenzhou.com/projects/ProPainter/

Real-time dance visual — немного с запозданием сделал что-то похожее на контент Tale Of Us, Anyma и тд, который разлетелся по всем соцсетям.
Также решил себе устроить из этого челендж. Сделать все одному и бесплатными или условно-бесплатными инструментами, т.е. без перформера, мокап костюма, риггера, скульптера и других участников пайплайна. Также максимально не затягивать процесс и в итоге уложился в два дня (но теперь можно и быстрее). Ну и главное запустить все лайвом и синхронизировать с музыкой.
OBS (да, это запись экрана) и Telegram пожали качество, в первом комментарии найдете видео без сжатия.

Интересно посмотреть процесс/бэкстейдж создания проекта?

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Список изменений для версии 2.1.0:
- Stream. Авто-генерация изображения (live генерация).
- Multi-Controlnet. Поддержка нескольких ControlNet модулей для генерации изображений.
- Inpainting. Метод при котором Stable Diffusion перерисовывает только часть изображенияю
- Scripts & Extensions. Частичная поддержка для скриптов и расширений.
- Clips skip, Hires Fix, Prompt styles, Refiner

https://github.com/olegchomp/TDDiffusionAPI/releases/tag/v.2.1.0

Stable Fast и TensorRT — релиз расширения для Stable Diffusion (A1111) и нового драйвера от NVIDIA ускоряющего генерацию в 2 раза, а также библиотека Stable Fast для Diffusers, ускоряющая еще больше. Если помните, я выкладывал эксперименты с AITemplate 0.4-0.5 сек на генерацию, то эти решения, в теории, должны еще больше сократить время генерации.

Latent Consistency Model — новый класс моделей Stable Diffusion, позволяющий за секунду получать 10 изображений при 4 шагах в разрешении 512х512, тоесть это генерация со скоростью 10 FPS.