Новая 30B модель от Meta работает полностью локально — я арендовал GPU и протестировал её

Описание: Получите GPU на Runpod: https://get.runpod.io/pe48
Получите Hostinger: https://www.hostg.xyz/SHJiu
Купон "PROPMT" на скидку 10%

Компания Meta Superintelligence Labs выпустила Muse Glimmer — 30-битную многомодальную модель, созданную
для агентов под управлением Apache 2.0. Мой ноутбук имеет 8 ГБ видеопамяти, поэтому я арендовал NVIDIA A40 на
RunPod за 0,44 доллара США в час и запустил её.

Всё в этом видео измерено, а не приведено в цитатах:
• 50,3 токенов/сек, 94 мс до первого токена
• 20,6 ГБ видеопамяти в контексте по умолчанию 32K
• 23,6 ГБ в контексте FULL 131 072 — всё ещё помещается на карту 24 ГБ
• Реальный вызов инструмента, реальная однострочная команда агента и модель, читающая скриншот
своей собственной таблицы бенчмарка

Две подводные камни, которые вас остановят, обе оставлены:
1. Стабильная версия Ollama возвращает 412 — вам нужна предварительная версия v0.32.8-rc0
2. В блоге говорится, что верхний уровень рассуждений — «xhigh»; API принимает только значение "max"

РАЗДЕЛЫ
0:00 Meta выпускает Muse Glimmer
0:18 Создано для агентов, а не для чата
0:38 Что на самом деле находится внутри конфигурации
0:56 Почему контекст 128K остается дешевым
1:16 Бенчмарки
1:39 Диалоговое окно аргументации
1:49 Аренда GPU — и подвох с 412
2:09 Извлечение + что делает DFlash
2:19 Первый запуск и выгода от 24 ГБ
2:39 Реальный инструмент вызова
2:49 Подвох с "xhigh"
3:00 Он считывает свою собственную таблицу бенчмарков
3:18 Ускорение DFlash
3:28 Подключите его к своему агенту
3:48 Что хорошего

ССЫЛКИ
Модель карты https://huggingface.co/meta-models/Mu...
Блог Ollama https://ollama.com/blog/muse-glimmer
Теги Ollama https://ollama.com/library/muse-glimm...
Блог NVIDIA https://developer.nvidia.com/blog/run...

КОМАНДЫ
Apple Silicon
ollama run muse-glimmer:30b-mlx
NVIDIA (то, что я использовал, требуется предварительная сборка)
ollama pull muse-glimmer:30b-q4_K_M-dflash
подключить его к агенту
ollama launch claude --model muse-glimmer:30b
ollama launch opencode --model muse-glimmer:30b
ollama launch openclaw --model muse-glimmer:30b
ollama launch hermes --model muse-glimmer:30b

#MuseGlimmer #Meta #LocalLLM #Ollama #AIAgents #RunPod #OpenSourceAI

🔗 Свяжитесь со мной:
Электронная почта → [email protected]
Ko-fi → https://ko-fi.com/promptengineer
Patreon →   / promptengineer975  
Записаться на звонок → https://calendly.com/prompt-engineer4...
GitHub → https://github.com/PromptEngineer48
Twitter/X →   / prompt48  
Веб-сайт → https://promptengineer48.com/