MultiTalk - пока что лучшая липсинк модель, которую можно сразу в прод. Установка локально и обзор

Описание: Multitalk - это новая открытая липсинк модель с высоким качеством синхронизации. Т.е. на лице персонажей вы не увидите артефактов от применения модели, как это может быть заметно в других опенсорсных моделях. Она умеет:
генерировать видео с несколькими говорящими персонажами;
поддерживает видео до 15с качеством 480р или 720р;
поддержка генерации мультяшных героев, пения;
нестандартные стили речи, чтобы это не значило;
работает в ComfyUI. С некоторыми оговорками.

В этом видео мы посмотрим на него с позиции локального запуска. Я покажу как это установить, на что обратить внимание, как работает, какие есть настройки, нюансы, какие могут возникнуть ошибки и как их побороть (ну те, с которыми я столкнулся лично), покажу примеры, поговорим о времени генерации и т.д. Обязательно досмотри это видео до конца и смотри внимательно, т.к все что я буду говорить это важно.

✨Поддержать автора: https://www.donationalerts.com/r/ayit...
________________________________
✨Ссылки:
● Страница проекта: https://meigen-ai.github.io/multi-talk/
● Github Multitalk: https://github.com/MeiGen-AI/MultiTalk
● Кастомная нода ComfyUI-WanVideoWrapper: https://github.com/kijai/ComfyUI-WanV...
● Модели Wan2.1: https://huggingface.co/Kijai/WanVideo...
● Скачать воркфлоу: https://openart.ai/workflows/ayithede...
● Менеджер нод: https://github.com/Comfy-Org/ComfyUI-...

Полезные видео:
● Установка Wan 2.1:    • Wan 2.1 - локальный генератор видео которы...  
● Wan 2.1 Vace:    • Wan 2.1 VACE - модель для локальной генера...  
● Sonic липсинк:    • Возможно лучший липсинк который можно сдел...  

Команды установок, как обещал:
● Установка кастомной ноды
git clone -b multitalk https://github.com/kijai/ComfyUI-WanV...
pip install -r requirements.txt

● Установка segeattention и triton
pip install -U triton-windows
pip install sageattention -i https://pypi.tuna.tsinghua.edu.cn/simple --no-cache-dir
________________________________
✨Таймкоды:
00:00 - Предисловие
02:36 - Что такое Multitalk
05:05 - Установка кастомных нод
08:37 - Качаем воркфлоу
09:50 - Кулстори об установке кастомных нод на личном примере
11:15 - Качаем модели, кладем по папкам
11:45 - Обзор воркфлоу Multitalk и настроек нод
18:52 - Ошибки и как их пофиксить
19:44 - 'NoneType' object is not callable
21:39 - WanVideoSampler CompilationError (Ошибка совместимости с видеокартой)
22:51 - ValueError: The `output_attentions` attribute is not supported
24:17 - Примеры lip sync с аудио на русском
25:06 - Поющий аватар
26:05 - Интервью
26:47 - Анимационные персонажи
27:38 - Время генерации и требуемые ресурсы
29:58 - Послесловие и итоги
________________________________
Теги:
Как сделать липсинк? Как озвучить персонажа? ИИ для озвучки. Как сделать фото говорящим? Multitalk локально. Как установить Multitalk? Липсинк ИИ. Multitalk ComfyUI. Говорящая голова. Говорящий аватар. Поющий аватар.
искусственный интеллект, нейросети, нейросеть, ai, ии, озвучить видео, озвучка, липсинк, озвучка видео, реалистичная озвучка, из текста в аудио, всякие полезности, нейросети для липсинка, нейросети для работы с липсинком, эти нейросети помогут тебе в работе со звуком, полезные нейросети, comfyui, синхронизация речи, ai-липсинк, comfyui, ai, wan 2.1, technology, multitalk, ai video generation, ai lip-sync, talking avatar