OP–Z Stable Diffusion —вдохновленное теорией синестезии, приложение трансформирует такие аудио метрики, как pitch, key, notes, rhythm и BPM в Stable Diffusion prompts, описывающие цвет, форму и движение генерируемых изображений.

https://modemworks.com/projects/op-z-stable-diffusion/

#stablediffusion #ai

TD Instance in Unreal Engine — стрим про управление частицами в Niagara через инстансинг в Touchdesigner.

https://m.youtube.com/watch?v=W3HNjR-O1-I

#touchdesigner #unrealengine

CS50's Introduction to Programming with Python — курс по языку программирования Python от преподавателей из Гарварда.

https://m.youtube.com/watch?v=OvKCESUCWII&list=PLhQjrBD2T3817j24-GogXmWqO5Q5vYy0V&index=1

AR Foundation 5.0 on Unity 2022.2 — концепт приложения от медиа-художника Keijiro Takahashi.
Складывается мнение, что скоро все IMAG эффекты проще будет делать с телефоном 🤷🏻‍♂️

#unity #IMAG

Mocopi — Sony представила трекеры для захвата движений. Гаджет для поклонников метавселенной и создания своего собственного аватара - движения можно записать и сохранить с помощью специального приложения, а потом перенести результат в VRChat или Unity.

https://www.youtube.com/watch?v=ovHHpralCD8

#unity

Всем привет! У меня появилось желание повторить стрим в формате вопрос/ответ и рассказать про типсы и лайфхаки, которые нашел за это время на разных проектах (например как я делал 2.5 часа контента за 18 дней).
Хотели бы посмотреть и позадавать вопросы?

https://www.youtube.com/watch?v=XVbRzdlQgsM

Annie — концепт объединяющий в себе Unreal Engine, Metahuman, Stable Diffusion, GPT 3 и позволяющий создавать интерактивных ассистентов. Комментарии разработчика можно почитать в небольшой статье.

#unrealengine #stablediffusion #ai

20 советов о создании генеративной графики в Derivative TouchDesigner от ChatGPT — ИИ может вести осознанный диалог с собеседником: отвечать на вопросы, давать советы и объяснять сложные понятия. Ниже представлены 20 советов про Touchdesigner (машинный перевод), а в комментарии более забавный вариант генерации на английском :)

1. Начните с ознакомления с основами TouchDesigner и его интерфейсом.

2. Создайте четкую и ясную концепцию вашего проекта генеративной графики. Это поможет направить процесс проектирования и разработки.

3. Используйте инструменты геометрии и моделирования TouchDesigner для создания 3D-объектов и форм, которые вы можете использовать в своей генеративной графике.

4. Экспериментируйте с различными текстурами, цветами и эффектами освещения, чтобы придать визуальный интерес и глубину вашей генеративной графике.

5. Используйте инструменты воспроизведения аудио и видео в TouchDesigner для включения аудио и видео элементов в вашу генеративную графику.

6. Изучите использование систем частиц, фракталов и других генеративных техник для создания динамичной и развивающейся графики.

7. Используйте инструменты создания сценариев TouchDesigner для создания пользовательских алгоритмов и поведений для вашей генеративной графики.

8. Рассмотрите возможность использования внешних инструментов и библиотек, таких как Python или GLSL, для расширения возможностей TouchDesigner при создании генеративной графики.

9. Используйте инструменты рендеринга TouchDesigner для создания высококачественной и визуально впечатляющей графики, которую можно использовать в живых выступлениях, инсталляциях и других интерактивных медиа.

10. Экспериментируйте с различными техниками анимации, такими как покадровая анимация, анимация на основе физики и процедурная анимация, для создания увлекательной и динамичной генеративной графики.

11. Использовать сетевые и сетевые инструменты TouchDesigner для создания интерактивной и совместной генеративной графики, которой могут управлять и манипулировать пользователи в режиме реального времени.

12. Изучите использование генеративных алгоритмов и методов искусственного интеллекта для создания непредсказуемой и динамичной графики, которая может развиваться и адаптироваться со временем.

13. Использовать временную шкалу и инструменты последовательности TouchDesigner для создания сложной и многослойной генеративной графики, которой можно управлять и манипулировать в режиме реального времени.

14. Изучите использование генеративной графики в различных контекстах, таких как живые выступления, инсталляции, интерактивные медиа и другие творческие проекты.

15. Использовать инструменты TouchDesigner для управления и манипулирования медиа, такими как аудио и видео, для создания отзывчивой и реактивной генеративной графики.

16. Экспериментировать с различными визуальными стилями и эстетическими подходами к генеративной графике, такими как абстрактные, органические, геометрические и другие формы визуального выражения.

17. Использовать инструменты TouchDesigner для визуализации данных и анализа данных для создания генеративной графики, которая может быть использована для изучения и визуализации сложных наборов данных и информации.

18. Изучить использование генеративной графики в сочетании с другими средствами, такими как проекционное отображение, светодиодное освещение или другие формы интерактивных технологий.

19. Использовать инструменты TouchDesigner для создания пользовательских интерфейсов и систем управления для создания интерактивной и интуитивной генеративной графики, которой могут управлять пользователи.

20. Постоянно экспериментировать, исследовать и расширять границы генеративной графики в TouchDesigner для создания инновационных и уникальных визуальных эффектов.

20 советов о виджеинге в Resolume от ChatGPT — вторая часть, в которой ИИ советует как подготовить VJ сет. (машинный перевод)

1. Используйте сочетание готовых и пользовательских визуальных образов для создания уникального и целостного образа.

2. Экспериментируйте с различными визуальными стилями и техниками, чтобы найти свою собственную эстетику.

3. Используйте слои и режимы смешивания в Resolume для создания сложных композиций.

4. Используйте ключевые кадры для создания динамических анимаций и переходов.

5. Используйте аудиореактивные возможности Resolume для создания визуальных образов, реагирующих на музыку.

6. Используйте маски и эффекты для выделения и манипулирования конкретными элементами визуального ряда.

7. Используйте такие эффекты, как цветокоррекция и искажение, чтобы придать визуальным эффектам глубину и текстуру.

8. Используйте временную шкалу и автоматизацию для создания визуальных последовательностей и наращивания энергии вашего выступления.

9. Экспериментируйте с различными разрешениями и соотношениями сторон, чтобы создать визуальные эффекты, соответствующие пространству и контексту вашего выступления.

10. Используйте инструменты композиции в Resolume для создания пользовательских форм и узоров.

11. Используйте библиотеку визуальных эффектов в Resolume для придания глубины и текстуры визуальным эффектам.

12. Включайте текстовые и графические элементы, чтобы добавить смысл и контекст в ваши визуальные образы.

13. Используйте параметры в Resolume для создания пользовательских настроек управления и автоматизации визуальных эффектов.

14. Экспериментируйте с различными цветовыми палитрами, чтобы создать единый визуальный стиль.

15. Воспользуйтесь возможностью Resolume загружать и воспроизводить видеофайлы, чтобы включить в свои визуальные образы графику движения и видеоматериалы.

16. Используйте генеративные инструменты в Resolume для создания динамичных, меняющихся визуальных образов.

17. Используйте возможности MIDI и OSC в Resolume для управления визуальными эффектами с помощью внешних контроллеров и устройств.

18. Включите в видео петли обратной связи для создания сложных, развивающихся визуальных образов.

19. Используйте сообщество виджеев и форумы, чтобы учиться у других и делиться своими советами и приемами.

20. Продолжайте экспериментировать и расширять границы возможного с помощью Resolume, чтобы продолжать развивать и совершенствовать свой визуальный стиль.

ChatGPT Telegram Bot — git с реализацией через chromium, так как API еще закрыто.

https://github.com/altryne/chatGPT-telegram-bot/

#ai

AR Foundation 5.0 on Unity 2022.2 — концепт приложения от медиа-художника Keijiro Takahashi.
В этот раз используется Stencil mask для получения силуэта человека.

#unity #IMAG

Future Diffusion (Redshift diffusion) — модель Stable Diffusion 2.0 дообученная на 3D графике в разрешении 768х768.

https://huggingface.co/nitrosocke/redshift-diffusion-768

#stablediffusion #ai

Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен для новичков и помогает ответить на вопросы которые появляются вначале работы с инструментами или рассмотреть индивидуальные задачи, которые не получается реализовать.

Мы поговорим про (вопросы которые уже прислали):
1) Stable diffusion API и TouchDesigner
2) Unreal Engine для визуализации света
3) Как подготовить контент для соцсетей без потери качества
4) Немного про Kinect

06.12 — Вторник
Начало — 20:00

Если у вас уже есть интересующий вопрос, можете написать его в комментарии и постараюсь на него ответить на стриме.

https://www.youtube.com/watch?v=pj0mpcHcuk4

Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Трансляция началась!

https://www.youtube.com/watch?v=pj0mpcHcuk4

Спасибо всем!
К сожалению было очень много технических сложностей и нюансов. Записи стрима не будет, но я постараюсь сделать отдельные уроки по темам которые обсуждали на трансляции.

RealityScan — вышло бесплатное приложение для создания 3D-моделей при помощи камеры смартфона. Приложение было доступно и ранее, но теперь это официальный релиз от Epic Games.

https://m.youtube.com/watch?v=fXLOMOWWBJQ

Distilled StableDiffusion 2 — анонс модели, позволяющей в 20 раз ускорить генерацию. Если верить твиту, то генерация 50 шагов снизилась с 5.6 до 0.9 секунд!
Ждём релиза и готовимся прикручивать к Touchdesigner.

https://twitter.com/emostaque/status/1598131202044866560

#stablediffusion #ai

TD Diffusion — имплементация Stable Diffusion в TouchDesigner. Работает в img2img моде на разрешении 512x512, но еще не в риалтайме.
txt2img довольно быстро запустился, а с img2img было сложнее. И да, это не SD API, все крутиться в TD, что и видно по зависанию на несколько секунд.

#touchdesigner #stablediffusion #ai

TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner локально на вашем компьютере.

https://youtu.be/CqpJ7roRj5Y

#touchdesigner #stablediffusion #ai