Awesome AI image synthesis — подборка инструментов для работы с AI графикой.

https://github.com/altryne/awesome-ai-art-image-synthesis

#AI

FRAME — концепт интерактивной инсталляции в Touchdesigner и Stable Diffusion. Главная идея использовать рисунок сделанный с leap motion, как источник для SD. Не смог удержаться чтобы поделиться, все выглядит еще сыро и очень многое надо доделать/переделать, но энивэй :)

#touchdesigner #stablediffusion #ai

Half Life engine visuals — виджей сет на движке игры Half Life. Управление реализовано через Midi в Touchdesigner.

#vjing

ИИ-изображения - новый клип-арт.

Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.

Заметка на The Verge

Text-to-music — команда сервиса Mubert запустила бета-тест инструмента для генерации музыки по текстовому описанию.

https://github.com/MubertAI/Mubert-Text-to-Music

Text2Light - генерация HDR карт по текстовому описанию.
HDR карты можно использовать в VR, освещении сцен или с помощью MiDaS создавать панорамы с глубиной например в Touchdesigner.

https://github.com/FrozenBurning/Text2Light

Stable diffusion v1-5 — вышло обновление (+200 000 steps) модели SD от Runwayml, а также обновление VAE от разработчиков Stable Diffusion.

https://colab.research.google.com/drive/174iLnLZbO4yKTwKHw1L4ljQTnKez4K7l

Remote Control & OSC в Unreal Engine 5 — случайно обнаружил что еще с 4.26 версии в Unreal Engine есть супер удобный OSC сервер, без всех этих огромных блюпринтов с кастом на каждый параметр компонента. Достаточно в плагинах включить OSC, Remote Control API, Remote Control Protocol OSC и создать Remote Control Preset.

https://docs.unrealengine.com/4.27/en-US/ProductionPipelines/ScriptingAndAutomation/WebControl/RemoteControlPresetsAndWebApplication/

#unrealengine

Наконец-то помог Unreal Engine использовать все ресурсы CPU при компиляции шейдеров. Полезно если у вас проект долго открывается или зависает на 45%.

1) Находим файл Engine\Config\BaseEngine.ini
2) Меняем значения в строчках:
- NumUnusedShaderCompilingThreads=1
- PercentageUnusedShaderCompilingThreads=10
- WorkerProcessPriority=1
3) Удаляем IncrediBuild в Visual Studio.

#unrealengine

Cyberpunk-Anime-Diffusion — дообученная через Dreambooth модель Waifu Diffusion V1.3 с новым Stable Diffusion V1.5 Vae.
В двух словах, теперь можно киберпанк-анимэ генерировать.

https://huggingface.co/DGSpitzer/Cyberpunk-Anime-Diffusion

TDAzureMerger — обновление компонента для сшивки нескольких Azure Kinect в единый point cloud.

https://github.com/DarienBrito/TDAzureMerger

Unreal Engine 5.1 — релиз новой версии от Epic Games. Список исправлений и улучшений очень огромный, можете посмотреть по ссылке ниже. Из того что сразу заметил, поддержка Vectorworks и glTF — импорт сцен с DMX приборами и ивент сценами.
А на видео выше, пример отражений Lumen в Single Layer Water.

https://docs.unrealengine.com/5.1/en-US/unreal-engine-5.1-release-notes/

#unrealengine

OP–Z Stable Diffusion —вдохновленное теорией синестезии, приложение трансформирует такие аудио метрики, как pitch, key, notes, rhythm и BPM в Stable Diffusion prompts, описывающие цвет, форму и движение генерируемых изображений.

https://modemworks.com/projects/op-z-stable-diffusion/

#stablediffusion #ai

TD Instance in Unreal Engine — стрим про управление частицами в Niagara через инстансинг в Touchdesigner.

https://m.youtube.com/watch?v=W3HNjR-O1-I

#touchdesigner #unrealengine

CS50's Introduction to Programming with Python — курс по языку программирования Python от преподавателей из Гарварда.

https://m.youtube.com/watch?v=OvKCESUCWII&list=PLhQjrBD2T3817j24-GogXmWqO5Q5vYy0V&index=1

AR Foundation 5.0 on Unity 2022.2 — концепт приложения от медиа-художника Keijiro Takahashi.
Складывается мнение, что скоро все IMAG эффекты проще будет делать с телефоном 🤷🏻‍♂️

#unity #IMAG

Mocopi — Sony представила трекеры для захвата движений. Гаджет для поклонников метавселенной и создания своего собственного аватара - движения можно записать и сохранить с помощью специального приложения, а потом перенести результат в VRChat или Unity.

https://www.youtube.com/watch?v=ovHHpralCD8

#unity

Всем привет! У меня появилось желание повторить стрим в формате вопрос/ответ и рассказать про типсы и лайфхаки, которые нашел за это время на разных проектах (например как я делал 2.5 часа контента за 18 дней).
Хотели бы посмотреть и позадавать вопросы?

https://www.youtube.com/watch?v=XVbRzdlQgsM

Annie — концепт объединяющий в себе Unreal Engine, Metahuman, Stable Diffusion, GPT 3 и позволяющий создавать интерактивных ассистентов. Комментарии разработчика можно почитать в небольшой статье.

#unrealengine #stablediffusion #ai

20 советов о создании генеративной графики в Derivative TouchDesigner от ChatGPT — ИИ может вести осознанный диалог с собеседником: отвечать на вопросы, давать советы и объяснять сложные понятия. Ниже представлены 20 советов про Touchdesigner (машинный перевод), а в комментарии более забавный вариант генерации на английском :)

1. Начните с ознакомления с основами TouchDesigner и его интерфейсом.

2. Создайте четкую и ясную концепцию вашего проекта генеративной графики. Это поможет направить процесс проектирования и разработки.

3. Используйте инструменты геометрии и моделирования TouchDesigner для создания 3D-объектов и форм, которые вы можете использовать в своей генеративной графике.

4. Экспериментируйте с различными текстурами, цветами и эффектами освещения, чтобы придать визуальный интерес и глубину вашей генеративной графике.

5. Используйте инструменты воспроизведения аудио и видео в TouchDesigner для включения аудио и видео элементов в вашу генеративную графику.

6. Изучите использование систем частиц, фракталов и других генеративных техник для создания динамичной и развивающейся графики.

7. Используйте инструменты создания сценариев TouchDesigner для создания пользовательских алгоритмов и поведений для вашей генеративной графики.

8. Рассмотрите возможность использования внешних инструментов и библиотек, таких как Python или GLSL, для расширения возможностей TouchDesigner при создании генеративной графики.

9. Используйте инструменты рендеринга TouchDesigner для создания высококачественной и визуально впечатляющей графики, которую можно использовать в живых выступлениях, инсталляциях и других интерактивных медиа.

10. Экспериментируйте с различными техниками анимации, такими как покадровая анимация, анимация на основе физики и процедурная анимация, для создания увлекательной и динамичной генеративной графики.

11. Использовать сетевые и сетевые инструменты TouchDesigner для создания интерактивной и совместной генеративной графики, которой могут управлять и манипулировать пользователи в режиме реального времени.

12. Изучите использование генеративных алгоритмов и методов искусственного интеллекта для создания непредсказуемой и динамичной графики, которая может развиваться и адаптироваться со временем.

13. Использовать временную шкалу и инструменты последовательности TouchDesigner для создания сложной и многослойной генеративной графики, которой можно управлять и манипулировать в режиме реального времени.

14. Изучите использование генеративной графики в различных контекстах, таких как живые выступления, инсталляции, интерактивные медиа и другие творческие проекты.

15. Использовать инструменты TouchDesigner для управления и манипулирования медиа, такими как аудио и видео, для создания отзывчивой и реактивной генеративной графики.

16. Экспериментировать с различными визуальными стилями и эстетическими подходами к генеративной графике, такими как абстрактные, органические, геометрические и другие формы визуального выражения.

17. Использовать инструменты TouchDesigner для визуализации данных и анализа данных для создания генеративной графики, которая может быть использована для изучения и визуализации сложных наборов данных и информации.

18. Изучить использование генеративной графики в сочетании с другими средствами, такими как проекционное отображение, светодиодное освещение или другие формы интерактивных технологий.

19. Использовать инструменты TouchDesigner для создания пользовательских интерфейсов и систем управления для создания интерактивной и интуитивной генеративной графики, которой могут управлять пользователи.

20. Постоянно экспериментировать, исследовать и расширять границы генеративной графики в TouchDesigner для создания инновационных и уникальных визуальных эффектов.