MMAudio - нейросеть для создания реалистичных фоновых звуков для/из видео. Инструкция по установке

Описание: MMAudio генерирует синхронизированный звук с учетом видео и/или текстовых подсказок. Ключевое новшество — мультимодальное совместное обучение, которое позволяет проводить обучение на широком спектре аудиовизуальных и аудиотекстовых наборов данных.

По умолчанию эти скрипты используют large_44k_v2модель. В экспериментах вывод занимает всего около 6 ГБ памяти GPU (в 16-битном режиме), что должно соответствовать большинству современных GPU.

Ограничения:
Модель иногда генерирует нежелательные неразборчивые звуки, похожие на человеческую речь;
Модель иногда генерирует нежелательную фоновую музыку;
Модель испытывает трудности с незнакомыми концепциями, например, она может генерировать «стрельбу из огнестрельного оружия», но не «стрельбу из РПГ».

✨Поддержать автора: https://www.donationalerts.com/r/ayit...
________________________________
✨Ссылки:
● Репозиторий разработчиков моделей: https://github.com/hkchengrex/MMAudio
● Страница FluxGym: https://github.com/cocktailpeanut/flu...
● Скачать модели: https://huggingface.co/Kijai/MMAudio_...

● Как установить ComfyUI и Flux:    • Как установить Flux.1 dev на свой компьюте...  
● Как создать свою LORA на FLUX:    • Как сделать свою LoRA для Flux? Два способ...  
● Еще один способ тренировки лоры для Flux:    • Тренируем свою лору для Flux. Flux Gym теп...  
________________________________
✨Таймкоды:
00:00 - Предисловие
01:39 - Пара слов про установку ComfyUI
02:03 - Установка кастомных нод
04:01 - Ошибка подгрузки ноды в интерфейс из-за библиотеки torchdiffeq
05:54 - Базовый врокфлоу
06:48 - Качаем модели и кладем в нужную папку
07:52 - Первый запуск и RuntimeError: The shape of the 2D attn_mask is torch.Size([77, 77]), but should be (1, 1)
09:48 - Примеры работы и нюансы
13:17 - Послесловие
________________________________
Теги:
искусственный интеллект, нейросети, нейросеть, ai, ии, озвучить видео, озвучка, синтезатор звуков, озвучка видео, реалистичная озвучка, из текста в аудио, всякие полезности, нейросети для видео, нейросети для работы со звуком, нейросети для обработки звука, эти нейросети помогут тебе в работе со звуком, полезные нейросети, comfyui