Stable diffusion v1-5 — вышло обновление (+200 000 steps) модели SD от Runwayml, а также обновление VAE от разработчиков Stable Diffusion.

https://colab.research.google.com/drive/174iLnLZbO4yKTwKHw1L4ljQTnKez4K7l

Remote Control & OSC в Unreal Engine 5 — случайно обнаружил что еще с 4.26 версии в Unreal Engine есть супер удобный OSC сервер, без всех этих огромных блюпринтов с кастом на каждый параметр компонента. Достаточно в плагинах включить OSC, Remote Control API, Remote Control Protocol OSC и создать Remote Control Preset.

https://docs.unrealengine.com/4.27/en-US/ProductionPipelines/ScriptingAndAutomation/WebControl/RemoteControlPresetsAndWebApplication/

#unrealengine

Наконец-то помог Unreal Engine использовать все ресурсы CPU при компиляции шейдеров. Полезно если у вас проект долго открывается или зависает на 45%.

1) Находим файл Engine\Config\BaseEngine.ini
2) Меняем значения в строчках:
- NumUnusedShaderCompilingThreads=1
- PercentageUnusedShaderCompilingThreads=10
- WorkerProcessPriority=1
3) Удаляем IncrediBuild в Visual Studio.

#unrealengine

Cyberpunk-Anime-Diffusion — дообученная через Dreambooth модель Waifu Diffusion V1.3 с новым Stable Diffusion V1.5 Vae.
В двух словах, теперь можно киберпанк-анимэ генерировать.

https://huggingface.co/DGSpitzer/Cyberpunk-Anime-Diffusion

TDAzureMerger — обновление компонента для сшивки нескольких Azure Kinect в единый point cloud.

https://github.com/DarienBrito/TDAzureMerger

Unreal Engine 5.1 — релиз новой версии от Epic Games. Список исправлений и улучшений очень огромный, можете посмотреть по ссылке ниже. Из того что сразу заметил, поддержка Vectorworks и glTF — импорт сцен с DMX приборами и ивент сценами.
А на видео выше, пример отражений Lumen в Single Layer Water.

https://docs.unrealengine.com/5.1/en-US/unreal-engine-5.1-release-notes/

#unrealengine

OP–Z Stable Diffusion —вдохновленное теорией синестезии, приложение трансформирует такие аудио метрики, как pitch, key, notes, rhythm и BPM в Stable Diffusion prompts, описывающие цвет, форму и движение генерируемых изображений.

https://modemworks.com/projects/op-z-stable-diffusion/

#stablediffusion #ai

TD Instance in Unreal Engine — стрим про управление частицами в Niagara через инстансинг в Touchdesigner.

https://m.youtube.com/watch?v=W3HNjR-O1-I

#touchdesigner #unrealengine

CS50's Introduction to Programming with Python — курс по языку программирования Python от преподавателей из Гарварда.

https://m.youtube.com/watch?v=OvKCESUCWII&list=PLhQjrBD2T3817j24-GogXmWqO5Q5vYy0V&index=1

AR Foundation 5.0 on Unity 2022.2 — концепт приложения от медиа-художника Keijiro Takahashi.
Складывается мнение, что скоро все IMAG эффекты проще будет делать с телефоном 🤷🏻‍♂️

#unity #IMAG

Mocopi — Sony представила трекеры для захвата движений. Гаджет для поклонников метавселенной и создания своего собственного аватара - движения можно записать и сохранить с помощью специального приложения, а потом перенести результат в VRChat или Unity.

https://www.youtube.com/watch?v=ovHHpralCD8

#unity

Всем привет! У меня появилось желание повторить стрим в формате вопрос/ответ и рассказать про типсы и лайфхаки, которые нашел за это время на разных проектах (например как я делал 2.5 часа контента за 18 дней).
Хотели бы посмотреть и позадавать вопросы?

https://www.youtube.com/watch?v=XVbRzdlQgsM

Annie — концепт объединяющий в себе Unreal Engine, Metahuman, Stable Diffusion, GPT 3 и позволяющий создавать интерактивных ассистентов. Комментарии разработчика можно почитать в небольшой статье.

#unrealengine #stablediffusion #ai

20 советов о создании генеративной графики в Derivative TouchDesigner от ChatGPT — ИИ может вести осознанный диалог с собеседником: отвечать на вопросы, давать советы и объяснять сложные понятия. Ниже представлены 20 советов про Touchdesigner (машинный перевод), а в комментарии более забавный вариант генерации на английском :)

1. Начните с ознакомления с основами TouchDesigner и его интерфейсом.

2. Создайте четкую и ясную концепцию вашего проекта генеративной графики. Это поможет направить процесс проектирования и разработки.

3. Используйте инструменты геометрии и моделирования TouchDesigner для создания 3D-объектов и форм, которые вы можете использовать в своей генеративной графике.

4. Экспериментируйте с различными текстурами, цветами и эффектами освещения, чтобы придать визуальный интерес и глубину вашей генеративной графике.

5. Используйте инструменты воспроизведения аудио и видео в TouchDesigner для включения аудио и видео элементов в вашу генеративную графику.

6. Изучите использование систем частиц, фракталов и других генеративных техник для создания динамичной и развивающейся графики.

7. Используйте инструменты создания сценариев TouchDesigner для создания пользовательских алгоритмов и поведений для вашей генеративной графики.

8. Рассмотрите возможность использования внешних инструментов и библиотек, таких как Python или GLSL, для расширения возможностей TouchDesigner при создании генеративной графики.

9. Используйте инструменты рендеринга TouchDesigner для создания высококачественной и визуально впечатляющей графики, которую можно использовать в живых выступлениях, инсталляциях и других интерактивных медиа.

10. Экспериментируйте с различными техниками анимации, такими как покадровая анимация, анимация на основе физики и процедурная анимация, для создания увлекательной и динамичной генеративной графики.

11. Использовать сетевые и сетевые инструменты TouchDesigner для создания интерактивной и совместной генеративной графики, которой могут управлять и манипулировать пользователи в режиме реального времени.

12. Изучите использование генеративных алгоритмов и методов искусственного интеллекта для создания непредсказуемой и динамичной графики, которая может развиваться и адаптироваться со временем.

13. Использовать временную шкалу и инструменты последовательности TouchDesigner для создания сложной и многослойной генеративной графики, которой можно управлять и манипулировать в режиме реального времени.

14. Изучите использование генеративной графики в различных контекстах, таких как живые выступления, инсталляции, интерактивные медиа и другие творческие проекты.

15. Использовать инструменты TouchDesigner для управления и манипулирования медиа, такими как аудио и видео, для создания отзывчивой и реактивной генеративной графики.

16. Экспериментировать с различными визуальными стилями и эстетическими подходами к генеративной графике, такими как абстрактные, органические, геометрические и другие формы визуального выражения.

17. Использовать инструменты TouchDesigner для визуализации данных и анализа данных для создания генеративной графики, которая может быть использована для изучения и визуализации сложных наборов данных и информации.

18. Изучить использование генеративной графики в сочетании с другими средствами, такими как проекционное отображение, светодиодное освещение или другие формы интерактивных технологий.

19. Использовать инструменты TouchDesigner для создания пользовательских интерфейсов и систем управления для создания интерактивной и интуитивной генеративной графики, которой могут управлять пользователи.

20. Постоянно экспериментировать, исследовать и расширять границы генеративной графики в TouchDesigner для создания инновационных и уникальных визуальных эффектов.

20 советов о виджеинге в Resolume от ChatGPT — вторая часть, в которой ИИ советует как подготовить VJ сет. (машинный перевод)

1. Используйте сочетание готовых и пользовательских визуальных образов для создания уникального и целостного образа.

2. Экспериментируйте с различными визуальными стилями и техниками, чтобы найти свою собственную эстетику.

3. Используйте слои и режимы смешивания в Resolume для создания сложных композиций.

4. Используйте ключевые кадры для создания динамических анимаций и переходов.

5. Используйте аудиореактивные возможности Resolume для создания визуальных образов, реагирующих на музыку.

6. Используйте маски и эффекты для выделения и манипулирования конкретными элементами визуального ряда.

7. Используйте такие эффекты, как цветокоррекция и искажение, чтобы придать визуальным эффектам глубину и текстуру.

8. Используйте временную шкалу и автоматизацию для создания визуальных последовательностей и наращивания энергии вашего выступления.

9. Экспериментируйте с различными разрешениями и соотношениями сторон, чтобы создать визуальные эффекты, соответствующие пространству и контексту вашего выступления.

10. Используйте инструменты композиции в Resolume для создания пользовательских форм и узоров.

11. Используйте библиотеку визуальных эффектов в Resolume для придания глубины и текстуры визуальным эффектам.

12. Включайте текстовые и графические элементы, чтобы добавить смысл и контекст в ваши визуальные образы.

13. Используйте параметры в Resolume для создания пользовательских настроек управления и автоматизации визуальных эффектов.

14. Экспериментируйте с различными цветовыми палитрами, чтобы создать единый визуальный стиль.

15. Воспользуйтесь возможностью Resolume загружать и воспроизводить видеофайлы, чтобы включить в свои визуальные образы графику движения и видеоматериалы.

16. Используйте генеративные инструменты в Resolume для создания динамичных, меняющихся визуальных образов.

17. Используйте возможности MIDI и OSC в Resolume для управления визуальными эффектами с помощью внешних контроллеров и устройств.

18. Включите в видео петли обратной связи для создания сложных, развивающихся визуальных образов.

19. Используйте сообщество виджеев и форумы, чтобы учиться у других и делиться своими советами и приемами.

20. Продолжайте экспериментировать и расширять границы возможного с помощью Resolume, чтобы продолжать развивать и совершенствовать свой визуальный стиль.

ChatGPT Telegram Bot — git с реализацией через chromium, так как API еще закрыто.

https://github.com/altryne/chatGPT-telegram-bot/

#ai

AR Foundation 5.0 on Unity 2022.2 — концепт приложения от медиа-художника Keijiro Takahashi.
В этот раз используется Stencil mask для получения силуэта человека.

#unity #IMAG

Future Diffusion (Redshift diffusion) — модель Stable Diffusion 2.0 дообученная на 3D графике в разрешении 768х768.

https://huggingface.co/nitrosocke/redshift-diffusion-768

#stablediffusion #ai

Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен для новичков и помогает ответить на вопросы которые появляются вначале работы с инструментами или рассмотреть индивидуальные задачи, которые не получается реализовать.

Мы поговорим про (вопросы которые уже прислали):
1) Stable diffusion API и TouchDesigner
2) Unreal Engine для визуализации света
3) Как подготовить контент для соцсетей без потери качества
4) Немного про Kinect

06.12 — Вторник
Начало — 20:00

Если у вас уже есть интересующий вопрос, можете написать его в комментарии и постараюсь на него ответить на стриме.

https://www.youtube.com/watch?v=pj0mpcHcuk4