YuE2: создание полноценных песен локально в ComfyUI — альтернатива Suno с открытым исходным кодом

Описание: YuE2 — это ИИ для генерации музыки с открытым исходным кодом, превосходящий Suno v5 и v6 в бенчмарках, с возможностью редактирования партитур, режимом кавера и выводом полной песни. Работает локально на видеокарте с 24 ГБ видеопамяти или 8-9 ГБ с квантизацией GGUF.

В этом видео рассматривается модель генерации музыки Yue2-3B, её отличия от Suno и Udio, а также как использовать её через ComfyUI. Yue 2 записывает нотную запись в формате ABC перед генерацией аудио, что означает, что вы можете редактировать мелодию и аккорды и перегенерировать их. Он генерирует полные песни с вокалом и аккомпанементом в стереоформате 48 кГц, поддерживает английский, китайский, японский и корейский языки, а 3,6-минутная песня обрабатывается примерно за 71 секунду на RTX 4090. Версия с квантизацией GGUF из audio-cpp работает на 8-9 ГБ видеопамяти, поэтому 4070 или 3080 могут её использовать. Мы рассмотрим рабочий процесс ComfyUI со всеми подключенными узлами, режим кавера с использованием транскрипции SheetSage2 и как начать работу локально.

Если вы работаете с генерацией музыки с помощью ИИ, хотите попробовать альтернативу Suno с открытым исходным кодом или просто хотите полностью контролировать вывод музыки с помощью редактируемых партитур, это именно та модель, которую стоит попробовать. Никакой подписки, никакого API, работает полностью на вашем локальном графическом процессоре.

Ресурсы:
Бесплатные материалы по удобному рабочему процессу YuR2: https://www.patreon.com/aifuturetech/...
Модель Yue 2: https://huggingface.co/m-a-p/YuE2-3B
Пакет ComfyUI: https://huggingface.co/Comfy-Org/YuE2
GGUF (с низким объемом видеопамяти): https://huggingface.co/audio-cpp/Yue2...
Страница демоверсии: https://map-yue2.github.io/
GitHub: https://github.com/multimodal-art-pro...
Статья: https://arxiv.org/abs/2503.08638

Если вы Как и в случае с подобными уроками, вы можете поддержать нашу работу на Patreon:
  / aifuturetech  

#AImusic #ComfyUI #Yue2 #SunoAlternative #AIaudio