Qwen 27B на 6 ГБ видеопамяти...

Описание: PrismML утверждает, что Bonsai 2 сохраняет 98% производительности Qwen3.8 27B в файле размером 6 ГБ, поэтому я протестировал его по сравнению с полной моделью в той же среде агента, отключив функцию Thinking в обоих случаях. В коротких задачах результат одинаковый (48,6 против 47,1), но в шести длительных сборках агента полная модель Qwen набрала 35 из 60 баллов, в то время как Bonsai не создал ни одного работающего приложения, в какой-то момент выполнив один и тот же поиск 114 раз. Вот как работает тройное сжатие, что говорится в их собственном техническом документе о тестах агента и на что следует обратить внимание в трассировках, прежде чем доверять сжатой модели работе агента.

РЕСУРСЫ:
Блог: https://prismml.com/news/bonsai-2-27b

Мое приложение для преобразования голоса в текст: whryte.com
Веб-сайт: https://engineerprompt.ai/
Курс RAG Beyond Basics:
https://prompt-s-site.thinkific.com/c...
Подпишитесь на новостную рассылку localgpt:
https://tally.so/r/3y9bb0

💻 Предварительно настроенная виртуальная машина localGPT: https://bit.ly/localGPT (используйте код: PromptEngineering для скидки 50%).

00:00 Bonsai2
01:02 Как Bonsai2 выполняет сжатие
04:54 Бенчмарки против циклов Agent
05:31 Настройка и оценка теста
07:06 Результаты выполнения короткого задания
09:10 Анализ сборок Agentic
12:11 Почему это не работает и выводы