Google нашла способ обойти аппаратные ограничения ИИ

Описание: Gemma 4 12B опровергает слухи о новой промежуточной модели между их мобильными (E2B, E4B) и более аппаратными моделями (26B MoE, 31B), но значительно улучшает ситуацию благодаря QAT (Quantization Aware Training — обучение с учетом квантизации).

Это в дополнение к поддержке MTP (Multi-Token Processing) для этих моделей! Gemma 4 — это серьезный шаг вперед в возможностях и производительности локальных моделей в целом.

Приятно видеть хотя бы некоторую конкуренцию со стороны других лабораторий, поскольку Qwen в последнее время активно продвигает локальный ИИ по всей индустрии!

*Ссылки*:
AnythingLLM: https://anythingllm.com/
AnythingLLM GitHub: https://github.com/Mintplex-Labs/anyt...
Gemma 12B: https://huggingface.co/google/gemma-4...
Gemma 12B QAT GGUF: https://huggingface.co/unsloth/gemma-...

*Разделы*:
0:00 Поговорим о Gemma 4 12B
0:34 Краткая история Gemma 4
3:06 Gemma 12B — долгожданное дополнение
6:59 Qwen3.5 или Gemma 12B
8:18 Что такое QAT (Quantization Aware Training)
10:24 QAT НЕ совсем Bitnet, но близок к нему
11:35 Тестирование Gemma 12B в AnythingLLM
17:05 Заключительные мысли: Gemma 12B на 100% заслуживает внимания.