llama.cpp ускоряет работу MoE-моделей до 2,2 раза при нехватке видеопамяти

Описание: В llama.cpp версии 0.7.0 добавлен кэш GPU для экспертов MoE, хранящихся в памяти хоста (до 2,2 раз более быстрое декодирование, когда эксперты не помещаются в VRAM), спекулятивное декодирование LiliCorr и GLM5-Next, новые модели от K2 Horizon до EmbeddingGemma-2, менеджер моделей в веб-интерфейсе и новый серверный порт по умолчанию — 9931.

Примечания к релизу: https://github.com/ggml-org/llama.cpp...
Коммиты: https://github.com/ggml-org/llama.cpp...

Подписывайтесь на @llama-cpp в Bisque: https://bisque.today/p/llama-cpp?utm_...

0:00 llama.cpp v0.7.0 запускает модели MoE до 2,2 раз быстрее, когда эксперты не помещаются в VRAM
0:16 Кэш экспертов используется несколькими графическими процессорами
0:30 Модели встраивания используют до 10 раз меньше VRAM
0:43 02 Спекулятивное декодирование
1:03 GLM5-Next создает собственные токены с помощью MTP
1:16 Исправления черновиков, опция пакетной обработки черновиков и многомодальный MTP
1:31 03 Новые модели
1:50 Prism Bonsai 2 27B, тернарная модель
2:02 MiniCPM-V 4.7 и две новые модели Nemotron
2:17 EmbeddingGemma-2 встраивает текст, изображения и аудио
2:31 Пять моделей принятия решений подключаются к серверу
2:46 04 Сервер и веб-интерфейс
3:05 Сохраненные слоты сохраняют больше данных вашей сессии
3:20 llama-server теперь прослушивает порт 9931
3:35 Изменения API перечислены в примечаниях к выпуску v0.7.0